技術領域

本發(fā)明涉及視頻譯碼。

背景技術：

數(shù)字視頻能力可并入到多種多樣的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話(所謂的“智能電話”)、視頻電話會議裝置、視頻流式傳輸裝置等。數(shù)字視頻裝置實施視頻譯碼技術，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高級視頻譯碼(AVC)定義的標準、目前正在開發(fā)的高效視頻譯碼(HEVC)標準及此類標準的擴展中所描述的視頻譯碼技術。視頻裝置可通過實施這些視頻譯碼技術而更有效率地發(fā)射、接收、編碼、解碼及/或存儲數(shù)字視頻信息。

視頻譯碼技術包含空間(圖片內)預測及/或時間(圖片間)預測以減少或去除視頻序列中固有的冗余。對于基于塊的視頻譯碼，視頻切片(例如，視頻幀或視頻幀的一部分)可分割成視頻塊，視頻塊還可被稱為樹塊、譯碼單元(CU)及/或譯碼節(jié)點。使用關于同一圖片中的相鄰塊中的參考樣本的空間預測對圖片的經幀內譯碼(I)切片中的視頻塊進行編碼。圖片的經幀間編碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預測或相對于其它參考圖片中的參考樣本的時間預測。圖片可被稱為幀，且參考圖片可被稱為參考幀。

空間或時間預測產生待譯碼塊的預測性塊。殘余數(shù)據(jù)表示待譯碼原始塊與預測性塊之間的像素差。經幀間譯碼塊根據(jù)指向形成預測性塊的參考樣本塊的運動向量及指示經譯碼塊與預測性塊之間的差的殘余數(shù)據(jù)進行編碼。根據(jù)幀內譯碼模式及殘余數(shù)據(jù)來編碼經幀內譯碼塊。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產生殘余變換系數(shù)，可接著量化所述殘余變換系數(shù)?？蓲呙枳畛醢炊S陣列排列的經量化變換系數(shù)，以便產生變換系數(shù)的一維向量，且可應用熵譯碼以實現(xiàn)更多壓縮。

技術實現(xiàn)要素：

一般來說，本發(fā)明描述用于用信號表示用于位流分區(qū)的假想參考解碼器(HRD)參數(shù)的技術。也就是說，本發(fā)明的技術可改進(例如)在多層視頻譯碼中用于位流分區(qū)的HRD參數(shù)的用信號表示。視頻位流可包含不同維度的不同層，例如，時間維度、視圖維度(例如，用于多視點視頻數(shù)據(jù))、可縮放性維度(例如，用于可縮放視頻譯碼)等。描述可單獨使用或以任何組合使用的不同技術，所述技術可改進用于位流分區(qū)的HRD參數(shù)信令，所述位流分區(qū)中的任一者或全部可通過視頻解碼器針對后續(xù)解碼單獨提取。

在一個實例中，對視頻數(shù)據(jù)進行譯碼(例如，編碼或解碼)的方法包含：對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行譯碼，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目；對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼；及使用HRD參數(shù)處理位流。

在另一實例中，用于對視頻數(shù)據(jù)進行譯碼(例如，編碼或解碼)的裝置包含：存儲器，其經配置以存儲視頻數(shù)據(jù)；及視頻譯碼器，其經配置以對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行譯碼，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目、對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼及使用HRD參數(shù)處理位流。

在另一實例中，用于對視頻數(shù)據(jù)進行譯碼(例如，編碼或解碼)的裝置包含：用于對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行譯碼的裝置，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目；用于對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼的裝置；及用于使用HRD參數(shù)處理位流的裝置。

在另一實例中，用指令對計算機可讀存儲媒體進行編碼，所述執(zhí)行在執(zhí)行時致使一或多個處理器對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行譯碼，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目；對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼；及使用HRD參數(shù)處理位流。

附圖及以下描述中闡明一或多個實例的細節(jié)。其它特征、目標及優(yōu)點將從所述描述及圖式以及權利要求書而顯而易見。

附圖說明

圖1是說明可利用用于改進假想參考解碼器(HRD)參數(shù)信令的技術的實例視頻編碼及解碼系統(tǒng)的框圖。

圖2是說明可實施用于改進假想參考解碼器(HRD)參數(shù)信令的技術的視頻編碼器的實例的框圖。

圖3是說明可實施用于改進假想參考解碼器(HRD)參數(shù)信令的技術的視頻解碼器的實例的框圖。

圖4是說明根據(jù)本發(fā)明的技術的用于對視頻數(shù)據(jù)進行編碼的實例方法的流程圖。

圖5是說明根據(jù)本發(fā)明的技術的用于對視頻數(shù)據(jù)進行解碼的實例方法的流程圖。

具體實施方式

一般來說，本發(fā)明描述涉及對假想參考解碼器(HRD)參數(shù)進行譯碼(例如，編碼或解碼)的技術。一般來說，HRD參數(shù)用于管理時間線以及控制用于視頻譯碼過程的經譯碼圖片的大小。舉例來說，視頻譯碼器可使用HRD參數(shù)來確定何時出于對圖片進行解碼的目的從經譯碼圖片緩沖器(CPB)提取經編碼圖片，及/或確定何時從經解碼圖片緩沖器(DPB)提取輸出及/或清除來自經解碼圖片緩沖器(DPB)的經解碼圖片。

視頻位流可包含各種不同解碼及呈現(xiàn)裝置可使用的經譯碼視頻數(shù)據(jù)。舉例來說，視頻解碼器可支持可實施不同解碼工具的不同視頻譯碼標準檔次及級。類似地，視頻呈現(xiàn)裝置(例如，顯示器)可支持不同呈現(xiàn)功能(例如，刷新率/幀速率、可同時播放、交錯或逐行掃描播放的視圖的數(shù)目等)。以此方式，多個不同視頻解碼器及呈現(xiàn)裝置可使用單個視頻位流。

作為一個實例，當可從視頻位流呈現(xiàn)不同幀速率時，視頻位流據(jù)稱可支持時間可縮放性。舉例來說，相同視頻位流可用于呈現(xiàn)具有15幀每秒(FPS)、30FPS、60FPS、120FPS及240FPS的幀速率的視頻。一般來說，這些不同播放幀速率中的每一者對應于位流的一或多個“子層”的集合。每個逐漸更高層包含處于所述子層處及在所述子層下方的所有幀。因此，用于15FPS播放的圖片可包含子層0圖片，用于30FPS播放的圖片可包含子層0及子層1圖片，用于60FPS播放的圖片可包含子層0、1及2的圖片等。

以此方式，當裝置經配置以在低于視頻位流支持的最大幀速率的幀速率下執(zhí)行播放時，裝置可執(zhí)行從位流的子位流提取以僅提取播放所需的圖片并且對所述圖片進行解碼。繼續(xù)以上實例，如果裝置將確定執(zhí)行60FPS播放，則裝置可提取子層0、1及2的圖片并且僅對這些圖片進行解碼(即，不需要對子層3及4的圖片進行解碼)。

視頻參數(shù)集(VPS)語法結構可包含指示可包含在位流中的最大數(shù)目的子層的數(shù)據(jù)。因此，可用信號表示最大數(shù)目的子層中的每一者的HRD參數(shù)。然而，子位流提取(例如，出于時間可縮放性的目的)可產生具有少于最大數(shù)目的子層的所提取子位流。代替用信號表示最大數(shù)目的子層中的每一者的信息，本發(fā)明描述用于僅用信號表示實際上包含在位流中的子層數(shù)目(可小于或等于由VPS指示的子層的最大數(shù)目)的HRD參數(shù)的技術。以此方式，這些技術可相對于其中用信號表示最大數(shù)目的子層中的每一者的HRD參數(shù)的技術實現(xiàn)位節(jié)省。

類似地，本發(fā)明描述用于用信號表示位流的每個分區(qū)的每個子層的HRD參數(shù)的技術。舉例來說，VPS可包含參數(shù)環(huán)路，所述參數(shù)環(huán)路在多個可能輸出層集合中的每一者上及針對每個可能輸出層集合重復、用信號表示包含在對應輸出層集合中的子層的HRD參數(shù)。

此外，本發(fā)明描述用于有條件地用信號表示位流分區(qū)初始到達時間輔助增強信息(SEI)消息中的視頻譯碼層(VCL)HRD參數(shù)的技術。這可解決現(xiàn)有技術的某些潛在缺陷，其中可在某些條件下不必要地用信號表示此類參數(shù)。

一般相對于還稱為高效視頻譯碼(HEVC)的ITU-T H.265描述本發(fā)明的技術，ITU-T H.265在“系列H：視聽及多媒體系統(tǒng)，視聽服務的基礎架構-移動視頻的譯碼(SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of audiovisual services-Coding of moving video)”，高效視頻譯碼，ITU-T H.265，2013年4月中描述。然而，這些技術也可應用于其它視頻譯碼標準。視頻譯碼標準包含ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺、ITU-T H.263、ISO/IEC MPEG-4視覺及ITU-T H.264(也被稱為ISO/IEC MPEG-4AVC)，包含其可縮放視頻譯碼(SVC)及多視圖視頻譯碼(MVC)擴展。

H.265標準最近由ITU-T視頻譯碼專家組(VCEG)及ISO/IEC完成專家組(MPEG)的視頻譯碼聯(lián)合合作小組(JCT-VC)完成。最新的HEVC草案說明書(且下文中稱為HEVC WD)可從phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1003-v1.zip獲得。HEVC的多視圖擴展(即MV-HEVC)也正由JCT-3V開發(fā)。下文稱為MV-HEVC WD8的MV-HEVC的最新工作草案(WD)可從phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002-v5.zip獲得。被稱為SHVC的對HEVC的可縮放擴展也正由JCT-VC開發(fā)。下文稱為SHVC WD6的SHVC的最新工作草案(WD)可從phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zip獲得。

MV-HEVC WD8及SHVC WD6包含基于位流分區(qū)的HRD操作(稱為位流分區(qū)特定的HRD操作)的規(guī)范，其中位流的層可分成多于一個位流分區(qū)并且HRD可基于位流分區(qū)特定的HRD參數(shù)操作。

JCTVC-R0043v5(可在phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0043-v5.zip處獲得)及在沙利文的“特別小組報告：分層譯碼限制規(guī)范及能力指示(AHG10)(Ad hoc group report:Layered coding constraint specifications and capability indications(AHG10))”，ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的視頻譯碼聯(lián)合合作小組(JCT-VC)第18次會議：日本札幌市，2014年6月30日至7月9日，JCTVC-R0010v2(下文稱為“JCTVC-R0010v2”)的附件中的AHG10輸出文本(可在phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R0010-v2.zip處獲得)包含檔次/層/級及一致性定義的基于位流分區(qū)的信令的規(guī)范。所述方法如下概述：

●對于每個輸出層集合，用信號表示層到分區(qū)的一或多個分割方案。每個位流分區(qū)可含有一或多個層。

●用信號表示每個位流分區(qū)的檔次、層及級(PTL)的集合。

●除了關于自然地層特定的圖片寬度、圖片高度及子DPB大小的三者之外，所有級限值及限制被指定為位流分區(qū)特定的。

●解碼器的解碼能力表達為符合PTL三元組的列表，其中列表中的項的數(shù)目指示用于構建多層解碼器的單層解碼器的數(shù)目并且每個PTL三元組指示單層解碼器中的一個的PTL。

●符合PTL三元組的列表的解碼器需要能夠對其中存在滿足以下條件的至少一個分割方案的任何輸出層集合進行解碼：對于分割方案中的每個位流分區(qū)，可排他性地分配多層解碼器中的單層解碼器中的一者以對位流分區(qū)進行解碼。

●MV-HEVC WD8及SHVC WD6中的基于位流分區(qū)的HRD操作用于修改，以更好地對多個分割方案有效。

在MV-HEVC WD8、SHVC WD6及JCTVC-R0010v2中的基于位流分區(qū)的HRD操作中，用信號表示每個位流分區(qū)的HRD參數(shù)。用于用信號表示位流分區(qū)的HRD參數(shù)的現(xiàn)有方法可遇到以下缺點：

1)每個hrd_parameters()語法結構含有vps_max_sub_layer_minus1+1子層的信息，即使語法結構應用于具有小于vps_max_sub_layer_minus1+1的多個子層的位流。在這種情況下，一些位被完全浪費。

2)對于每個位流分區(qū)，用信號表示僅最高子層的HRD參數(shù)，由此無法定義位流分區(qū)的時間子集的一致性并且不存在用于僅以可互操作方式消耗輸出層集合的時間子集的方式。

3)在位流分區(qū)初始到達時間SEI消息中，應從不出現(xiàn)的以下兩種情況可能會出現(xiàn)：

a.當NalHrdBpPresentFlag是1時，不用信號表示VCL HRD參數(shù)穿過vcl_initial_arrival_delay[i]語法元素的初始到達延遲，即使VclHrdBpPresentFlag等于1。在這種情況下，無法定義VCL HRD一致性。

b.當NalHrdBpPresentFlag是0時，用信號表示VCL HRD參數(shù)穿過vcl_initial_arrival_delay[i]語法元素的初始到達延遲，即使VclHrdBpPresentFlag等于0。在這種情況下，這些信令是完全浪費的位。

因此，如上所述，本發(fā)明描述可單獨使用或以任何組合使用并且可克服上述缺點中的任一者或全部的不同技術。在下文中提供本發(fā)明的技術的概述，且在后面章節(jié)中提供一些方法的詳細實施方案。一般來說，以下編號項可解決上述編號缺點：

1)每個hrd_parameters()語法結構含有所需子層的數(shù)目的信息，如通過(例如)稱為num_sub_layer_hrd_minus1[i]的語法元素用信號表示。

2)對于每個位流分區(qū)，用信號表示每個子層的HRD參數(shù)。這可通過向環(huán)路添加等于指示傳遞進度的數(shù)目的語法元素的輸出層集合中的子層數(shù)目的項數(shù)目、hrd_parameters()語法結構的列表的索引及在所指示hrd_parameters()語法結構中的傳遞進度列表的索引，或僅僅用信號表示hrd_parameters()語法結構的列表的索引及使用所指示hrd_parameters()語法結構中的所有傳遞進度來實現(xiàn)。

3)在位流分區(qū)初始到達時間SEI消息中改變語法，使得如果且僅當VclHrdBpPresentFlag等于1時才存在VCL HRD參數(shù)的初始到達延遲。

圖1是說明可利用用于改進假想參考解碼器(HRD)參數(shù)信令的技術的實例視頻編碼及解碼系統(tǒng)10的框圖。如圖1中所示，系統(tǒng)10包含源裝置12，其提供稍后將由目的地裝置14解碼的經編碼視頻數(shù)據(jù)。具體而言，源裝置12經由計算機可讀媒體16將視頻數(shù)據(jù)提供到目的地裝置14。源裝置12及目的地裝置14可包括各種裝置中的任一者，包含桌上型計算機、筆記型(即，膝上型)計算機、平板計算機、機頂盒、電話手持機(例如所謂的“智能”電話)、所謂的“智能”平板電腦、電視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、視頻流式傳輸裝置等。在一些情況下，可裝備源裝置12及目的地裝置14以用于無線通信。

目的地裝置14可經由計算機可讀媒體16接收待解碼的經編碼視頻數(shù)據(jù)。計算機可讀媒體16可包括能夠將經編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任一類型的媒體或裝置。在一個實例中，計算機可讀媒體16可包括通信媒體以使源裝置12能夠實時地將經編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14?？筛鶕?jù)通信標準(例如，無線通信協(xié)議)調制經編碼視頻數(shù)據(jù)，并將其發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個物理發(fā)射線。通信媒體可形成分組網絡(例如，局域網、廣域網或全球網絡，例如因特網)的部分。通信媒體可包含路由器、交換器、基站或可用于促進從源裝置12到目的地裝置14的通信的任何其它設備。

在一些實例中，經編碼數(shù)據(jù)可從輸出接口22輸出到存儲裝置。類似地，經編碼數(shù)據(jù)可通過輸入接口從存儲裝置存取。存儲裝置可包含多種分布式或本地存取的數(shù)據(jù)存儲媒體中的任一者，例如硬盤驅動器、藍光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失性存儲器或用于存儲經編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲媒體。在另一實例中，存儲裝置可對應于可存儲由源裝置12產生的經編碼視頻的文件服務器或另一中間存儲裝置。目的地裝置14可經由流式傳輸或下載來從存儲裝置存取所存儲的視頻數(shù)據(jù)。文件服務器可為能夠存儲經編碼視頻數(shù)據(jù)且將經編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類型的服務器。實例文件服務器包含網絡服務器(例如，用于網站)、FTP服務器、網絡連接存儲(NAS)裝置或本地磁盤驅動器。目的地裝置14可通過任何標準數(shù)據(jù)連接(包含因特網連接)來存取經編碼視頻數(shù)據(jù)。這可包含適合于存取存儲于文件服務器上的經編碼視頻數(shù)據(jù)的無線信道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜調制解調器等)或兩者的組合。經編碼視頻數(shù)據(jù)從存儲裝置的發(fā)射可能是流式傳輸發(fā)射、下載發(fā)射或其組合。

本發(fā)明的技術未必限于無線應用或設定。所述技術可應用于視頻譯碼并且支持多種多媒體應用中的任一者，例如空中協(xié)議電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網流式傳輸視頻發(fā)射(例如基于HTTP的動態(tài)自適應流(DASH))、經編碼到數(shù)據(jù)存儲媒體上的數(shù)字視頻，存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼，或其它應用。在一些實例中，系統(tǒng)10可經配置以支持單向或雙向視頻發(fā)射，以支持例如視頻流式傳輸、視頻播放、視頻廣播及/或視頻電話等應用。

在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20及輸出接口22。目的地裝置14包含輸入接口28、視頻解碼器30及顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻編碼器20可經配置以應用用于執(zhí)行改進假想參考解碼器(HRD)參數(shù)信令的技術。在其它實例中，源裝置及目的地裝置可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源18(例如外部相機)接收視頻數(shù)據(jù)。同樣，目的地裝置14可與外部顯示裝置介接，而非包含集成式顯示裝置。

如上所述，源裝置12包含輸出接口22并且目的地裝置14包含輸入接口28。在一些實例中，輸出接口22表示發(fā)射器且輸入接口28表示接收器。在其它實例中，輸出接口22及輸入接口28表示收發(fā)器的實例(即，能夠無線地發(fā)射及接收數(shù)據(jù)信號的接口)。收發(fā)器可經配置以發(fā)送及接收無線信號中的視頻數(shù)據(jù)。舉例來說，當實施為收發(fā)器時，輸出接口22可發(fā)送包含經編碼視頻數(shù)據(jù)的數(shù)據(jù)信號(例如，計算機可讀媒體16)，而當實施為收發(fā)器時，輸入接口28可接收包含經編碼視頻數(shù)據(jù)的數(shù)據(jù)信號(例如，計算機可讀媒體16)。如上文所論述，視頻編碼器20可將經編碼視頻數(shù)據(jù)提供到輸出接口22，而輸入接口28可將經編碼視頻數(shù)據(jù)提供到視頻解碼器30。

圖1的所說明系統(tǒng)10僅為一個實例。用于改進假想參考解碼器(HRD)參數(shù)信令的技術可通過任何數(shù)字視頻編碼及/或解碼裝置執(zhí)行。盡管本發(fā)明的技術一般通過視頻編碼裝置來執(zhí)行，但是所述技術還可通過視頻編碼器/解碼器(通常稱為“編碼解碼器”)來執(zhí)行。此外，本發(fā)明的技術還可由視頻預處理器執(zhí)行。源裝置12及目的地裝置14僅為源裝置12產生經譯碼視頻數(shù)據(jù)用于發(fā)射到目的地裝置14的此類譯碼裝置的實例。在一些實例中，裝置12、14可以實質上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼及解碼組件。因此，系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻發(fā)射以例如用于視頻流式傳輸、視頻播放、視頻廣播或視頻電話。

源裝置12的視頻源18可包含視頻捕獲裝置，例如攝像機、含有先前所捕獲視頻的視頻存檔及/或用于從視頻內容提供者接收視頻的視頻饋送接口。作為另一替代方案，視頻源18可產生基于計算機圖形的數(shù)據(jù)作為源視頻，或直播視頻、存檔視頻與計算機產生的視頻的組合。在一些情況下，如果視頻源18是攝像機，那么源裝置12及目的地裝置14可形成所謂的相機電話或視頻電話。然而，如上文所提及，本發(fā)明中所描述的技術可大體上適用于視頻譯碼，且可應用于無線及/或有線應用。在每一情況下，所捕獲、預先捕獲或計算機產生的視頻可由視頻編碼器20進行編碼。經編碼視頻信息可接著由輸出接口22輸出到計算機可讀媒體16上。

計算機可讀媒體16可包含瞬時媒體，例如無線廣播或有線網絡發(fā)射，或存儲媒體(也就是說，非暫時性存儲媒體)，例如硬盤、快閃驅動器、壓縮光盤、數(shù)字視頻光盤、藍光光盤或其它計算機可讀媒體。在一些實例中，網絡服務器(未展示)可從源裝置12接收經編碼視頻數(shù)據(jù)，并且例如經由網絡發(fā)射將經編碼視頻數(shù)據(jù)提供到目的地裝置14。類似地，媒體生產設施(例如，光盤沖壓設施)的計算裝置可從源裝置12接收經編碼視頻數(shù)據(jù)且生產含有經編碼視頻數(shù)據(jù)的光盤。因此，在各種實例中，計算機可讀媒體16可理解為包含各種形式的一或多個計算機可讀媒體。

目的地裝置14的輸入接口28從計算機可讀媒體16接收信息。計算機可讀媒體16的信息可包含由視頻編碼器20定義的語法信息，所述語法信息還供視頻解碼器30使用，所述語法信息包含描述塊及其它經譯碼單元(例如，GOP)的特性及/或處理的語法元素。顯示裝置32將經解碼視頻數(shù)據(jù)顯示給用戶，且可包括多種顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器、有機發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。

視頻編碼器20及視頻解碼器30可根據(jù)視頻譯碼標準操作，所述視頻譯碼標準例如是還稱為ITU-T H.265的高效率視頻譯碼(HEVC)標準?；蛘?，視頻編碼器20及視頻解碼器30可根據(jù)其它專用或行業(yè)標準來操作，所述標準例如ITU-T H.264標準，替代地稱為MPEG-4第10部分高級視頻譯碼(AVC)，或這些標準的擴展。然而，本發(fā)明的技術不限于任何特定譯碼標準。視頻譯碼標準的其它實例包含MPEG-2及ITU-T H.263。盡管圖1中未展示,但在一些方面中，視頻編碼器20及視頻解碼器30可各自與音頻編碼器及解碼器集成，且可包含適當多路復用器-多路分用器單元或其它硬件及軟件以處理共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻及視頻兩者的編碼。如果適用，則多路復用器-多路分用器單元可符合ITU H.223多路復用器協(xié)議，或例如用戶數(shù)據(jù)報協(xié)議(UDP)等其它協(xié)議。

視頻編碼器20及視頻解碼器30各自可實施為多種合適的編碼器電路中的任一者，例如一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟件、硬件固件或其任何組合。當所述技術部分在軟件中實施時，裝置可將用于所述軟件的指令存儲在合適的非暫時性計算機可讀媒體中，并使用一或多個處理器在硬件中執(zhí)行所述指令以執(zhí)行本發(fā)明的技術。視頻編碼器20及視頻解碼器30中的每一者可包含在一或多個編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為相應裝置中的組合編碼器/解碼器(編碼解碼器)的一部分。

一般來說，視頻幀或圖片可分成也稱為最大譯碼單元(LCU)的一系列樹塊，所述樹塊可包含明度樣本及色度樣本兩者。位流內的語法數(shù)據(jù)可界定最大譯碼單位(LCU，其是就像素數(shù)目來說的最大譯碼單位)的大小。切片包含按譯碼次序的若干連續(xù)樹塊。視頻幀或圖片可被分割成一或多個切片。每個樹塊可根據(jù)四叉樹數(shù)據(jù)結構分裂成若干譯碼單元(CU)。一般來說，四叉樹數(shù)據(jù)結構包含每CU一個節(jié)點，其中一個根節(jié)點對應于所述樹塊。如果一個CU分裂成四個子CU，那么對應于CU的節(jié)點包含四個葉節(jié)點，其中的每一者對應于所述子CU中的一者。

四叉樹數(shù)據(jù)結構的每一節(jié)點可提供用于對應CU的語法數(shù)據(jù)。舉例來說，四叉樹中的節(jié)點可包含分裂旗標，其指示對應于所述節(jié)點的所述CU是否分裂成子CU。用于CU的語法元素可遞歸地定義，且可取決于CU是否分裂成子CU。如果CU未進一步分裂，那么將其稱作葉CU。在本發(fā)明中，葉CU的四個子CU也被稱作葉CU，即使不存在原始葉CU的明確分裂。舉例來說，如果16×16大小的CU未進一步分裂，那么這四個8×8子CU也被稱作葉CU，雖然16×16CU從未分裂。

CU具有與H.264標準的宏塊類似的目的，除了CU不具有大小區(qū)別。舉例來說，樹塊可分裂成四個子節(jié)點(也稱為子CU)，且每一子節(jié)點又可為父節(jié)點且可分裂成另外四個子節(jié)點。最后未分裂的子節(jié)點(被稱作四叉樹的葉節(jié)點)包括譯碼節(jié)點，也被稱作葉CU。與經譯碼位流相關聯(lián)的語法數(shù)據(jù)可定義樹塊可分裂的最大次數(shù)，被稱作最大CU深度，且還可定義譯碼節(jié)點的最小大小。因此，位流還可界定最小譯碼單元(SCU)。本發(fā)明使用術語“塊”來在HEVC的上下文中指代CU、預測單元(PU)或變換單元(TU)中的任一者，或在其它標準(例如，H.264/AVC中的其宏塊及子塊)的上下文中指代類似數(shù)據(jù)結構。

CU包含譯碼節(jié)點及與所述譯碼節(jié)點相關聯(lián)的預測單元(PU)及變換單元(TU)。CU的大小對應于譯碼節(jié)點的大小，且通常為正方形形狀。CU的大小可在從8×8像素到具有最大大小64×64像素或更大的樹塊大小的范圍內。每一CU可含有一或多個PU及一或多個TU。舉例來說，與CU相關聯(lián)的語法數(shù)據(jù)可描述CU分割成一或多個PU。分割模式可在CU被跳過還是經直接模式編碼、幀內預測模式編碼或幀間預測模式編碼之間不同。PU可分割成非正方形形狀。舉例來說，與CU相關聯(lián)的語法數(shù)據(jù)還可描述CU根據(jù)四叉樹到一或多個TU的分割。TU可為正方形或非正方形(例如，矩形)形狀。

HEVC標準允許根據(jù)TU變換，TU可針對不同CU而有所不同。TU的大小通常是基于針對經分割LCU定義的給定CU內的PU大小而確定，但是情況可能并不總是如此。TU通常與PU大小相同或小于PU。在一些實例中，對應于CU的殘余樣本可使用被稱為“殘余四叉樹”(RQT)的四叉樹結構細分成較小單元。RQT的葉節(jié)點可被稱為變換單元(TU)?？勺儞Q與TU相關聯(lián)的像素差值以產生變換系數(shù)，所述變換系數(shù)可經量化。

葉CU可包含一或多個PU。一般來說，PU表示對應于所述對應CU的全部或一部分的空間區(qū)域，且PU可包含用于對于PU檢索及/或產生參考樣本的數(shù)據(jù)。此外，PU包含與預測有關的數(shù)據(jù)。舉例來說，當PU經幀內模式編碼時，用于PU的數(shù)據(jù)可包含在殘余四叉樹(RQT)中，殘余四叉樹可包含描述用于對應于PU的TU的幀內預測模式的數(shù)據(jù)。RQT也可被稱為變換樹。在一些實例中，可在葉CU語法，而不是RQT中用信號表示幀內預測模式。作為另一實例，當PU經幀間模式編碼時，PU可包括界定PU的運動信息(例如，一或多個運動向量)的數(shù)據(jù)。界定PU的運動向量的數(shù)據(jù)可描述(舉例來說)運動向量的水平分量、運動向量的垂直分量、運動向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖片，及/或運動向量的參考圖片列表(例如，列表0、列表1或列表C)。

具有一或多個PU的葉CU還可包含一或多個TU。變換單元可使用RQT(也被稱為TU四叉樹結構)來指定，如上文所論述。舉例來說，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成更多個子TU。當TU未進一步分裂時，其可被稱為葉TU。一般來說，對于幀內譯碼，屬于一葉CU的所有葉TU共享相同的幀內預測模式。也就是說，一般應用相同的幀內預測模式來計算葉CU的所有TU的預測值。對于幀內譯碼，視頻編碼器可使用幀內預測模式計算每一葉TU的殘余值，作為CU的對應于TU的部分與原始塊之間的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。對于幀內譯碼，PU可與相同CU的對應葉TU處于相同位置。在一些實例中，葉TU的最大大小可對應于對應葉CU的大小。

此外，葉CU的TU還可與相應四叉樹數(shù)據(jù)結構相關聯(lián)，所述相應四叉樹數(shù)據(jù)結構如上所述被稱為殘余四叉樹(RQT)或變換樹。也就是說，葉CU可包含指示葉CU如何分割成TU的四叉樹。TU四叉樹的根節(jié)點一般對應于葉CU，而CU四叉樹的根節(jié)點一般對應于樹塊(或LCU)。未經分裂的RQT的TU被稱為葉TU。一般來說，本發(fā)明分別使用術語CU及TU來指代葉CU及葉TU，除非另有指出。

視頻序列通常包含一系列視頻幀或圖片。圖片群組(GOP)一般包括一系列一或多個視頻圖片。GOP可包含GOP的標頭、圖片中的一或多者的標頭或其它處的語法數(shù)據(jù)，其描述GOP中所包含的多個圖片。圖片的每一切片可包含描述用于相應切片的編碼模式的切片語法數(shù)據(jù)。視頻編碼器20通常對個別視頻切片內的視頻塊進行操作以便對視頻數(shù)據(jù)進行編碼。視頻塊可對應于CU內的譯碼節(jié)點。視頻塊可具有固定或變化的大小，并且根據(jù)指定譯碼標準可在大小上有所不同。

作為實例，可針對不同大小的PU執(zhí)行預測。假設特定CU的大小是2N×2N，那么可在2N×2N或N×N的PU大小上執(zhí)行幀內預測并且可在2N×2N、2N×N、N×2N或N×N的對稱PU大小上執(zhí)行幀間預測。還可針對2N×nU、2N×nD、nL×2N及nR×2N的PU大小執(zhí)行幀間預測的不對稱分割。在不對稱分割中，不分割CU的一個方向，但是將另一方向分割成25％及75％。CU的對應于25％分區(qū)的部分通過“n”后接續(xù)“上”、“下”、“左”或“右”的指示來指示。因此，舉例來說，“2N×nU”是指水平地分割的2N×2N CU，其中頂部為2N×0.5N PU，而底部為2N×1.5N PU。

在本發(fā)明中，“N×N”及“N乘N”可互換使用以指依據(jù)垂直尺寸及水平尺寸來說的視頻塊的像素尺寸，例如，16×16像素或16乘16像素。一般來說，16×16塊在垂直方向上具有16個像素(y＝16)，且在水平方向上具有16個像素(x＝16)。同樣，N×N塊一般在垂直方向上具有N個像素，并且在水平方向上具有N個像素，其中N表示非負整數(shù)值。塊中的像素可布置成行及列。此外，塊未必需要在水平方向上與在垂直方向上具有相同數(shù)目個像素。舉例來說，塊可包括N×M個像素，其中M未必等于N。

在使用CU的PU進行幀內預測性或幀間預測性譯碼之后，視頻編碼器20可計算用于CU的TU的殘余數(shù)據(jù)。PU可包括描述在空間域(還被稱為像素域)中產生預測性像素數(shù)據(jù)的方法或模式的語法數(shù)據(jù)，并且TU可包括在對殘余視頻數(shù)據(jù)應用變換(例如，離散余弦變換(DCT)、整數(shù)變換、小波變換或概念上類似的變換)之后在變換域中的系數(shù)。所述殘余數(shù)據(jù)可對應于未經編碼圖片的像素與對應于PU的預測值之間的像素差。視頻編碼器20可形成TU以包含表示CU的殘余數(shù)據(jù)的經量化變換系數(shù)。也就是說，視頻編碼器20可計算殘余數(shù)據(jù)(采用殘余塊的形式)、變換殘余塊以產生變換系數(shù)的塊，且接著量化變換系數(shù)以形成經量化變換系數(shù)。視頻編碼器20可形成包含經量化變換系數(shù)的TU，以及其它語法信息(例如，TU的分裂信息)。

如上所述，在任何變換以產生變換系數(shù)后，視頻編碼器20可執(zhí)行變換系數(shù)的量化。量化大體上指代對變換系數(shù)進行量化以可能減少用于表示系數(shù)的數(shù)據(jù)量從而提供進一步壓縮的過程。量化過程可減少與系數(shù)中的一些或全部相關聯(lián)的位深度。舉例來說，n位值可在量化期間被下舍入到m位值，其中n大于m。

在量化之后，視頻編碼器20可掃描變換系數(shù)，從而從包含經量化變換系數(shù)的二維矩陣產生一維向量。掃描可經設計以將較高能量(并且因此較低頻率)的系數(shù)放置在陣列的前面，并且將較低能量(并且因此較高頻率)的系數(shù)放置在陣列的背面。在一些實例中，視頻編碼器20可利用預定義掃描次序來掃描經量化變換系數(shù)以產生可被熵編碼的串行化向量。在其它實例中，視頻編碼器20可執(zhí)行自適應掃描。在掃描經量化變換系數(shù)以形成一維向量之后，視頻編碼器20可例如根據(jù)上下文自適應可變長度譯碼(CAVLC)、上下文自適應二進制算術譯碼(CABAC)、基于語法的上下文自適應二進制算術譯碼(SBAC)、概率區(qū)間分割熵(PIPE)譯碼或另一熵編碼方法來對一維向量進行熵編碼。視頻編碼器20也可對與經編碼視頻數(shù)據(jù)相關聯(lián)的語法元素進行熵編碼以供視頻解碼器30在解碼視頻數(shù)據(jù)時使用。

為了執(zhí)行CABAC，視頻編碼器20可向待發(fā)射的符號指派上下文模型內的上下文。上下文可涉及(舉例來說)符號的相鄰值是否為非零。為了執(zhí)行CAVLC，視頻編碼器20可選擇用于待發(fā)射的符號的可變長度碼。VLC中的碼字可經構造使得相對較短碼對應于更有可能符號，而較長碼對應于不太可能符號。以此方式，使用VLC可例如實現(xiàn)優(yōu)于針對待發(fā)射的每一符號使用等長度碼字的位節(jié)省。概率確定可基于指派到符號的上下文。

一般來說，視頻解碼器30執(zhí)行盡管與由視頻編碼器20執(zhí)行的過程互逆但與其實質上類似的過程，以對經編碼數(shù)據(jù)進行解碼。舉例來說，視頻解碼器30逆量化且逆變換所接收TU的系數(shù)以再生殘余塊。視頻解碼器30使用用信號表示的預測模式(幀內預測或幀間預測)以形成預測塊。隨后視頻解碼器30(在逐像素基礎上)使預測塊與殘余塊組合以再生原始塊?？蓤?zhí)行額外處理，例如執(zhí)行解塊過程以減少沿塊邊界的視覺假影。此外，視頻解碼器30可通過盡管與視頻編碼器20的CABAC編碼過程互逆但與其實質上類似的方式使用CABAC來解碼語法元素。

根據(jù)本發(fā)明的技術的一個實例，視頻譯碼器(例如，視頻編碼器20或視頻解碼器30)可經配置以對視頻參數(shù)集(VPS)中的視頻可用信息(VUI)(包含假想參考解碼器(HRD)參數(shù))進行譯碼。以下表1描述根據(jù)本發(fā)明的某些技術的用于HRD參數(shù)的實例VPS VUI字節(jié)序列有效負載(BSP)。在表1中，斜體文本指示相對于在JCTVC-R0010v2的變型2附件中描述的數(shù)據(jù)結構的添加，而使用括號及“移除：”識別的文本(舉例來說，[removed:“example removed text”])表示從JCTVC-R0010v2的變型2附件中描述的數(shù)據(jù)結構的移除。

表1

下文描述表1的語法元素的實例語義。下文不另外論述的不變語法元素可保持如JCTVC-R0010v2的變型2附件中描述的語義。同樣，斜體文本表示添加，而[removed:“”]表示刪除。

vps_num_add_hrd_params[removed:“parameter”]指定存在于VPS中的額外hrd_parameters()語法結構的數(shù)目。vps_num_add_hrd_params[removed:“parameter”]的值應在0至1024-vps_num_hrd_parameters(包含性)的范圍內。

等于1的cprms_add_present_flag[i]指定對于所有子層共同的HRD參數(shù)存在于第ihrd_parameters()語法結構中。等于0的cprms_add_present_flag[i]指定對于所有子層共同的HRD參數(shù)不存在于第i hrd_parameters()語法結構中，且經導出為與第(i-1)hrd_parameters()語法結構相同。

num_sub_layer_hrd_minus1[i]加上1指定第i hrd_parameters()語法結構中的fixed_pic_rate_general_flag[]語法元素的數(shù)目。num_sub_layer_hrd_minus1[i]的值應在0至vps_max_sub_layers_minus1(包含性)的范圍內。

等于1的bsp_hrd_params[removed:“parameter”]_present_flag[h][i]指定對于第hOLS的第i分割方案的所有位流分區(qū)存在HRD參數(shù)。等于0的bsp_hrd_params[removed:“parameter”]_present_flag[h][i]指定對于第h OLS的第i分割方案的任何位流分區(qū)不存在HRD參數(shù)。

當HighestTid等于t時，num_bsp_schedules[removed:“sched_combinations”]_minus1[h][i][t]加上1指定針對第h OLS的第i分割方案的位流分區(qū)指定的[removed:“combination of”]傳遞進度[removed:“and hrd_parameters()”]的數(shù)目。num_bsp_schedules_minus1[h][i][t]的值應在0至31(包含性)的范圍內。

可變[removed:“SchedCombCnt”]BspSchedCnt[h][i][t]設定成等于num_bsp_schedules[removed:“sched_combinations”]_minus1[h][i][t]+1。

當HighestTid等于t時，bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]指定針對第h OLS的第i分割方案的第k位流分區(qū)指定的第j[removed:“combination of a”]傳遞進度[removed:“and hrd_parameters()”]的VPS中的hrd_parameters()語法結構的索引。bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]語法元素的長度是Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameter”]))位。bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]的值應在0至vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameter”]-1(包含性)的范圍內。

當HighestTid等于t時，bsp[removed:“_comb”]_sched_idx[h][i][t][j][k]指定具有索引bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]的hrd_parameters(t)語法結構的sub_layer_hrd_parameters(t)[removed:“hrd_parameters()”]語法結構內的[removed:“a”]傳遞進度的索引，也就是說，將[removed:“in”]用作針對第h OLS的第i分割方案的第k位流分區(qū)指定的第[removed:“combination of a”]傳遞進度[removed:“hrd_parameters()”]。bsp[removed:“_comb”]_sched_idx[h][i][t][j][k]的值應在0至cpb_cnt_minus1[t[removed:“HighestTid”]](包含性)的范圍內，其中cpb_cnt_minus1[t[removed:“HighestTid”]]存在于來自與索引bsp[removed:“_comb”]_hrd_idx[h][i][t][j][k]對應的hrd_parameters()語法結構的sub_layer_hrd_parameters(t[removed:“HighestTid”])語法結構中。

根據(jù)HEVC，其它常規(guī)HRD參數(shù)也可在HRD參數(shù)語法結構中用信號表示，但未必在以上表1中展示。舉例來說，HRD參數(shù)可包含fixed_pic_rate_within_cvs_flag[i]，其中HEVC將語義定義為：

等于1的fixed_pic_rate_within_cvs_flag[i]指示當HighestTid等于i時，在連續(xù)圖片按輸出次序的HRD輸出時間之間的時間距離如下文所指定受約束。等于0的fixed_pic_rate_within_cvs_flag[i]指示此限制可能不適用。

HRD參數(shù)還可包含elemental_duration_in_tc_minus1[i]語法元素，其中HEVC將語義定義為：

elemental_duration_in_tc_minus1[i]加上1(當存在時)指定當HighestTid等于i時在基本單元之間以時鐘滴答計的時間距離，所述基本單元指定如下文所指定的連續(xù)圖片按輸出次序的HRD輸出時間。elemental_duration_in_tc_minus1[i]的值應在0至2047(包含性)的范圍內。

HRD參數(shù)還可包含low_delay_hrd_flag[i]語法元素，其中HEVC將語義定義為：

當HighestTid等于i時，low_delay_hrd_flag[i]指定HRD操作模式，如在附件C中所指定。當不存在時，推斷l(xiāng)ow_delay_hrd_flag[i]的值等于0。

在表1的實例中，num_sub_layer_hrd_minus1[i]表示指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的實例。其中對HRD參數(shù)進行譯碼的子層的數(shù)目可小于或等于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目。因此，視頻譯碼器可對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼，且隨后使用HRD參數(shù)處理位流。舉例來說，視頻編碼器20及視頻解碼器30可根據(jù)HRD參數(shù)清除來自經解碼圖片緩沖器的圖片。此外，目的地裝置14可使用顯示裝置32顯示從經解碼圖片緩沖器清除的圖片。

如還在表1的實例中所示，視頻譯碼器可對用于包含在多層位流中的每個子層的HRD參數(shù)的集合進行譯碼。在表1中，由“for(t＝0；t<＝MaxSubLayersInLayerSetMinus1[OlsIdxToLsIdx[i]]；t++)”指示的環(huán)路表示在包含在特定層集合中的多個子層上的環(huán)路，所述環(huán)路針對可用輸出層集合中的每一者執(zhí)行。在此環(huán)路內，用信號表示HRD參數(shù)的索引(bsp_hrd_idx)。因此，這是用于對與位流子層的數(shù)目相等的多個HRD參數(shù)進行譯碼的一個實例技術。具體而言，存在HRD參數(shù)與每個位流分區(qū)(即，每個輸出層集合)的多個子層之間的一對一映射。

此外，視頻譯碼器(例如，視頻編碼器20或視頻解碼器30)可經配置以根據(jù)以下表2的實例數(shù)據(jù)結構對指示位流分區(qū)初始到達時間的信息進行譯碼(分別編碼或解碼)。表2表示相對于JCTVC-R0010v2的變型2附件變化的位流分區(qū)初始到達時間SEI消息的實例。同樣，斜體文本表示添加并且[removed:“”]表示刪除。

表2

下文描述用于表2的語法元素的實例語義。下文不另外論述的不變語法元素可保持如JCTVC-R0010v2的變型2附件中描述的語義。同樣，斜體文本表示添加，而[removed:“”]表示刪除。

位流分區(qū)初始到達時間SEI消息指定將在位流分區(qū)特定的CPB操作中使用的初始到達時間。

當存在時，此SEI消息應容納在包含于可縮放嵌套SEI消息中的位流分區(qū)嵌套SEI消息內，并且相同位流分區(qū)嵌套SEI消息還應包含緩沖周期SEI消息。

以下適用于位流分區(qū)嵌套SEI消息語法及語義：

-語法元素initial_cpb_removal_delay_length_minus1及變量NalHrdBpPresentFlag及VclHrdBpPresentFlag存在于或源自存在于hrd_parameters()語法結構的語法元素中，所述hrd_parameters()語法結構可適用于位流分區(qū)嵌套SEI消息所應用的操作點中的至少一者。

[removed:

假設針對在0到SchedCombCnt[sei_ols_idx][sei_partitioning_scheme_idx](包含性)的范圍內的i，hrdParamIdx[i]等于bsp_comb_hrd_idx[olsIdx][partitioningSchemeIdx][i][bspIdx]的值，其中olsIdx、partitioningSchemeIdx及bspIdx分別等于含有此位流分區(qū)初始到達時間SEI消息的位流分區(qū)嵌套SEI消息的sei_ols_idx、sei_partitioning_scheme_idx及bsp_idx。假設initialCpbRemovalDelayLength[i]等于initial_cpb_removal_delay_length_minus1+1，其中initial_cpb_removal_delay_length_minus1存在于作用中VPS中的第hrdParamIdx[i]hrd_parameters()語法結構中。

當使用NAL HRD參數(shù)時，nal_initial_arrival_delay[i]指定此SEI消息所應用的位流分區(qū)的第i傳遞進度[removed:“combination”]的初始到達時間。nal_initial_arrival_delay[i]語法元素的長度(以位為單位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

當使用VCL HRD參數(shù)時，vcl_initial_arrival_delay[i]指定此SEI消息所應用的位流分區(qū)的第i傳遞進度[removed:“combination”]的初始到達時間。vcl_initial_arrival_delay[i]語法元素的長度(以位為單位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

下文例如相對于表3及4論述這些技術的額外實例。表3表示表1的實例的替代方案，而表4表示表4的實例的替代方案。同樣，相對于JCTVC-R0010v2的變型2附件示出差，其中斜體文本表示添加且[removed:“”]表示刪除。

表3

下文描述用于表3的語法元素的實例語義。下文不另外論述的不變語法元素可保持如JCTVC-R0010v2的變型2附件中描述的語義。同樣，斜體文本表示添加，而[removed:“”]表示刪除。

vps_num_add_hrd_params[removed:“parameters”]指定存在于VPS中的額外hrd_parameters()語法結構的數(shù)目。vps_num_add_hrd_params[removed:“parameters”]的值應在0至1024-vps_num_hrd_parameters(包含性)的范圍內。

等于1的cprms_add_present_flag[i]指定所有子層共用的HRD參數(shù)存在于第ihrd_parameters()語法結構中。等于0的cprms_add_present_flag[i]指定所有子層共用的HRD參數(shù)不存在于第i hrd_parameters()語法結構中并且被導出為與第(i-1)hrd_parameters()語法結構相同。

num_sub_layer_hrd_minus1[i]加上1指定第i hrd_parameters()語法結構中的fixed_pic_rate_general_flag[]語法元素的數(shù)目。num_sub_layer_hrd_minus1[i]的值應在0至vps_max_sub_layers_minus1(包含性)的范圍內。

等于1的bsp_hrd_params[removed:“parameters”]_present_flag[h][i]指定對于第h OLS的第i分割方案的所有位流分區(qū)存在HRD參數(shù)。等于0的bsp_hrd_params[removed:“parameters”]_present_flag[h][i]指定對于第h OLS的第i分割方案的任何位流分區(qū)不存在HRD參數(shù)。

[removed:“num_bsp_sched_combinations_minus1[h][i]加上1指定針對第h OLS的第i分割方案的位流分區(qū)指定的傳遞進度及hrd_parameters()的組合的數(shù)目。[Ed.MH)：添加此語法元素的容許值距離。]”]

[removed:“變量SchedCombCnt[h][i]設定成等于num_bsp_sched_combinations_minus1[h][i]+1。”]

bsp[removed:“_comb”]_hrd_idx[h][i][removed:“[j]”][k]指定用于第h OLS[removed:“”]的第i分割方案的[removed:“j-th combination of a delivery schedule and hrd_parameters()specified for the”]第k位流分區(qū)的VPS中的hrd_parameters()語法結構的索引。bsp[removed:“_comb”]_hrd_idx[h][i][removed:“[j]”][k]語法元素的長度是Ceil(Log2(vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameters”]))位。bsp[removed:“_comb”]_hrd_idx[h][i][removed:“[j]”][k]的值應在0至vps_num_hrd_parameters+vps_num_add_hrd_params[removed:“parameters”]-1(包含性)的范圍內。

[removed:“bsp_comb_sched_idx[h][i][j][k]指定具有在針對用于第h OLS的第i分割方案的第k位流分區(qū)指定的傳遞進度及hrd_parameters()的第j組合中使用的索引bsp_comb_hrd_idx[h][i][j][k]的hrd_parameters()語法結構內的傳遞進度的索引。bsp_comb_sched_idx[h][i][j][k]的值應在0至cpb_cnt_minus1[HighestTid](包含性)的范圍內，其中cpb_cnt_minus1[HighestTid]存在于來自對應于索引bsp_comb_hrd_idx[h][i][j][k]的hrd_parameters()語法結構的sub_layer_hrd_parameters(HighestTid)語法結構中。[Ed.(YK)：“sub_layer_hrd_parameters(HighestTid)”及“sub_layer_hrd_parameters()”的兩個形式用于文獻中以參考語法結構。檢查始終僅使用其中一個是否將更佳。]”]

HEVC指定fixed_pic_rate_general_flag[i]的以下語義：等于1的fixed_pic_rate_general_flag[i]指示當HighestTid等于i時，連續(xù)圖片按輸出次序的HRD輸出時間之間的時間距離如下文所指定受約束。等于0的fixed_pic_rate_general_flag[i]指示此限制可能不適用。

在表3的實例中，num_sub_layer_hrd_minus1[i]表示指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的實例。其中對HRD參數(shù)進行譯碼的子層的數(shù)目可小于或等于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目。因此，視頻譯碼器可對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼，且隨后使用HRD參數(shù)處理位流。舉例來說，視頻編碼器20及視頻解碼器30可根據(jù)HRD參數(shù)清除來自經解碼圖片緩沖器的圖片。此外，目的地裝置14可使用顯示裝置32顯示從經解碼圖片緩沖器清除的圖片。

表3還表示另一實例技術，視頻譯碼器可通過所述技術對包含于多層位流中的每個子層的HRD參數(shù)的集合進行譯碼。對照表1中所示的技術，表3的實例僅包含用信號表示包含于位流分區(qū)中的子層集合的hrd_parameters()語法結構的列表的索引。

表4

下文描述用于表4的語法元素的實例語義。下文不另外論述的不變語法元素可保持如JCTVC-R0010v2的變型2附件中描述的語義。同樣，斜體文本表示添加，而[removed:“”]表示刪除。

位流分區(qū)初始到達時間SEI消息指定將在位流分區(qū)特定的CPB操作中使用的初始到達時間。

當存在時，此SEI消息應容納在包含于可縮放嵌套SEI消息中的位流分區(qū)嵌套SEI消息內，并且相同位流分區(qū)嵌套SEI消息還應包含緩沖周期SEI消息。

以下適用于位流分區(qū)嵌套SEI消息語法及語義：

-語法元素initial_cpb_removal_delay_length_minus1及變量NalHrdBpPresentFlag及VclHrdBpPresentFlag存在于或源自存在于hrd_parameters()語法結構的語法元素中，所述hrd_parameters()語法結構可適用于位流分區(qū)嵌套SEI消息所應用的操作點中的至少一者。

[removed:

假設針對在0至SchedCombCnt[sei_ols_idx][sei_partitioning_scheme_idx](包含性)的范圍內的i，hrdParamIdx[i]等于bsp_comb_hrd_idx[olsIdx][partitioningSchemeIdx][i][bspIdx]的值，其中olsIdx、partitioningSchemeIdx及bspIdx分別等于含有此位流分區(qū)初始到達時間SEI消息的位流分區(qū)嵌套SEI消息的sei_ols_idx、sei_partitioning_scheme_idx及bsp_idx。假設initialCpbRemovalDelayLength[i]等于initial_cpb_removal_delay_length_minus1+1，其中initial_cpb_removal_delay_length_minus1存在于作用中VPS中的第hrdParamIdx[i]hrd_parameters()語法結構中。

當使用NAL HRD參數(shù)時，nal_initial_arrival_delay[i]指定此SEI消息所應用的位流分區(qū)的第i傳遞進度[removed:“combination”]的初始到達時間。nal_initial_arrival_delay[i]語法元素的長度(以位為單位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

當使用VCL HRD參數(shù)時，vcl_initial_arrival_delay[i]指定此SEI消息所應用的位流分區(qū)的第i傳遞進度[removed:“combination”]的初始到達時間。vcl_initial_arrival_delay[i]語法元素的長度(以位為單位)等于initial_cpb_removal_delay_length_minus1+1[removed:“initialCpbRemovalDelayLength[i]”]。

視頻編碼器20可進一步例如在幀標頭、塊標頭、切片標頭或GOP標頭中將例如基于塊的語法數(shù)據(jù)、基于幀的語法數(shù)據(jù)及基于GOP的語法數(shù)據(jù)等的語法數(shù)據(jù)發(fā)送到視頻解碼器30。GOP語法數(shù)據(jù)可描述相應GOP中的多個幀，并且?guī)Z法數(shù)據(jù)可指示用于對對應幀進行編碼的編碼/預測模式。

視頻編碼器20及視頻解碼器30各自可實施為多種合適的編碼器或解碼器電路(可適用的)中的任一者，例如一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯電路、軟件、硬件、固件或其任何組合。視頻編碼器20及視頻解碼器30中的每一者可包含在一或多個編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為組合式視頻編碼器/解碼器(編解碼器)的一部分。包含視頻編碼器20及/或視頻解碼器30的裝置可包括集成電路、微處理器及/或無線通信裝置，例如，蜂窩式電話。

圖2是說明可實施用于改進假想參考解碼器(HRD)參數(shù)信令的技術的視頻編碼器20的實例的框圖。視頻編碼器20可執(zhí)行視頻切片內的視頻塊的幀內及幀間譯碼。幀內譯碼依賴于空間預測來減少或清除給定視頻幀或圖片內的視頻中的空間冗余。幀間譯碼依靠時間預測來減少或清除視頻序列的鄰近幀或圖片內的視頻中的時間冗余。幀內模式(I模式)可指代若干基于空間的譯碼模式中的任一者。例如單向預測(P模式)或雙向預測(B模式)等的幀間模式可指代若干基于時間的譯碼模式中的任一者。

如圖2中所示，視頻編碼器20接收待編碼的視頻幀內的當前視頻塊。在圖2的實例中，視頻編碼器20包含模式選擇單元40、參考圖片存儲器64(也可被稱為經解碼圖片緩沖器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包含運動補償單元44、運動估計單元42、幀內預測單元46及分割單元48。對于視頻塊重構，視頻編碼器20還包含逆量化單元58、逆變換單元60及求和器62。還可包含解塊濾波器(圖2中未展示)以便對塊邊界進行濾波，以從經重構視頻清除成塊性假影。在需要時，解塊濾波器將通常對求和器62的輸出進行濾波。除了解塊濾波器外，還可使用額外濾波器(環(huán)路中或環(huán)路后)。為簡潔起見，未展示此類濾波器，但是必要時，此類濾波器可對求和器50的輸出進行濾波(作為環(huán)路內濾波器)。

在編碼過程期間，視頻編碼器20接收待譯碼的視頻幀或切片。所述幀或切片可劃分成多個視頻塊。運動估計單元42及運動補償單元44執(zhí)行所接收視頻塊相對于一或多個參考幀中的一或多個塊的幀間預測性編碼以提供時間預測。幀內預測單元46可替代地執(zhí)行所接收視頻塊相對于與待譯碼塊相同的幀或切片中的一或多個相鄰塊的幀內預測性編碼以提供空間預測。視頻編碼器20可執(zhí)行多個譯碼遍次，例如，為了為每一視頻數(shù)據(jù)塊選擇適當?shù)淖g碼模式。

此外，分割單元48可基于前述譯碼遍次中的前述分割方案的評估將視頻數(shù)據(jù)塊分割成子塊。舉例來說，分割單元48最初可將幀或切片分割成LCU，并且基于速率失真分析(例如，速率失真優(yōu)化)將LCU中的每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割成子CU的四叉樹數(shù)據(jù)結構。四叉樹的葉節(jié)點CU可包含一或多個PU及一或多個TU。

模式選擇單元40可選擇預測模式、幀內或幀間中的一者(例如，基于錯誤結果)，且將所得預測塊提供到求和器50以產生殘余數(shù)據(jù)且提供到求和器62以重構經編碼塊以用作參考幀。模式選擇單元40還將語法元素(例如，運動向量、幀內模式指示符、分割信息及其它此類語法信息)提供到熵編碼單元56。

運動估計單元42及運動補償單元44可高度集成，但出于概念的目的分別加以說明。運動估計單元42執(zhí)行的運動估計是產生運動向量的過程，所述過程估計視頻塊的運動。舉例來說，運動向量可指示當前視頻幀或圖片內的視頻塊的PU相對于參考幀(或其它經譯碼單元)內的預測性塊相對于當前幀(或其它經譯碼單元)內正被譯碼的當前塊的位移。預測性塊是被發(fā)現(xiàn)在像素差方面與待譯碼塊緊密匹配的塊，像素差可通過絕對差總和(SAD)、平方差總和(SSD)或其它差度量來確定。在一些實例中，視頻編碼器20可計算存儲于參考圖片存儲器64中的參考圖片的次整數(shù)像素位置的值。舉例來說，視頻編碼器20可內插參考圖片的四分之一像素位置、八分之一像素位置或其它分數(shù)像素位置的值。因此，運動估計單元42可相對于全像素位置及分數(shù)像素位置執(zhí)行運動搜索并且輸出具有分數(shù)像素精確度的運動向量。

運動估計單元42通過比較PU的位置與參考圖片的預測性塊的位置來計算用于經幀間譯碼切片中的視頻塊的PU的運動向量。參考圖片可選自第一參考圖片列表(列表0)或第二參考圖片列表(列表1)，其中的每一者識別存儲在參考圖片存儲器64中的一或多個參考圖片。運動估計單元42向熵編碼單元56及運動補償單元44發(fā)送計算出的運動向量。

由運動補償單元44執(zhí)行的運動補償可涉及基于由運動估計單元42確定的運動向量來提取或產生預測性塊。同樣，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收到當前視頻塊的PU的運動向量后，運動補償單元44可在參考圖片列表中的一者中定位所述運動向量指向的預測性塊。求和器50通過從正經譯碼的當前視頻塊的像素值減去預測性塊的像素值從而形成像素差值來形成殘余視頻塊，如下文所論述。一般來說，運動估計單元42相對于明度分量執(zhí)行運動估計，并且運動補償單元44對于色度分量及明度分量兩者使用基于明度分量計算的運動向量。模式選擇單元40還可產生與視頻塊及視頻切片相關聯(lián)的語法元素以供視頻解碼器30在解碼視頻切片的視頻塊時使用。

作為如上文所描述由運動估計單元42及運動補償單元44執(zhí)行的幀間預測的替代方案，幀內預測單元46可對當前塊進行幀內預測。具體來說，幀內預測單元46可確定用于對當前塊進行編碼的幀內預測模式。在一些實例中，幀內預測單元46可例如在單獨編碼遍次期間使用各種幀內預測模式對當前塊進行編碼，并且?guī)瑑阮A測單元46(或在一些實例中為模式選擇單元40)可從測試模式中選擇適當幀內預測模式來使用。

舉例來說，幀內預測單元46可使用速率-失真分析計算針對各種測試幀內預測模式的速率-失真值，且從所述測試模式當中選擇具有最佳速率失真特性的幀內預測模式。速率失真分析一般確定經編碼塊與經編碼以產生所述經編碼塊的原始未經編碼塊之間的失真(或誤差)的量，以及用于產生經編碼塊的位速率(也就是說，位數(shù)目)。幀內預測單元46可根據(jù)用于各種經編碼塊的失真及速率計算比率，以確定哪一幀內預測模式對于所述塊展現(xiàn)最佳速率-失真值。

在選擇用于塊的幀內預測模式后，幀內預測單元46可將指示用于塊的選定幀內預測模式的信息提供到熵編碼單元56。熵編碼單元56可對指示選定幀內預測模式的信息進行編碼。視頻編碼器20在所發(fā)射的位流中可包含配置數(shù)據(jù)，其可包含多個幀內預測模式索引表及多個經修改的幀內預測模式索引表(也稱為碼字映射表)，對用于各種塊的上下文進行編碼的定義，及對最可能幀內預測模式、幀內預測模式索引表及經修改的幀內預測模式索引表的指示以用于所述上下文中的每一者。

視頻編碼器20通過從正譯碼的原始視頻塊減去來自模式選擇單元40的預測數(shù)據(jù)而形成殘余視頻塊。求和器50表示執(zhí)行此減法運算的一或多個組件。變換處理單元52將例如離散余弦變換(DCT)或概念上類似的變換等變換應用于殘余塊，從而產生包括變換系數(shù)值的視頻塊?？墒褂眯〔ㄗ儞Q、整數(shù)變換、子頻帶變換、離散正弦變換(DST)或其它類型的變換來替代DCT。在任何情況下，變換處理單元52將變換應用于殘余塊，從而產生變換系數(shù)塊。所述變換可將殘余信息從像素域轉換到變換域，例如頻域。變換處理單元52可將所得變換系數(shù)發(fā)送到量化單元54。量化單元54量化變換系數(shù)以進一步減小位速率。量化過程可減少與系數(shù)中的一些或全部相關聯(lián)的位深度。可通過調整量化參數(shù)來修改量化的程度。

在量化之后，熵編碼單元56掃描經量化變換系數(shù)并且對所述經量化變換系數(shù)進行熵編碼。舉例來說，熵編碼單元56可執(zhí)行上下文自適應可變長度譯碼(CAVLC)、上下文自適應二進制算術譯碼(CABAC)、基于語法的上下文自適應二進制算術譯碼(SBAC)、概率區(qū)間分割熵(PIPE)譯碼或另一熵譯碼技術。在基于上下文的熵譯碼的情況下，上下文可基于相鄰塊。在熵編碼單元56進行熵譯碼之后，可將經編碼位流發(fā)射到另一裝置(例如，視頻解碼器30)，或者將所述經編碼位流存檔以用于稍后發(fā)射或檢索。

逆量化單元58及逆變換單元60分別應用逆量化及逆變換以重構像素域中的殘余塊。具體而言，求和器62將經重構殘余塊添加到先前由運動補償單元44或幀內預測單元46產生的運動補償預測塊以產生經重構視頻塊，以供存儲在參考圖片存儲器64中。經重構視頻塊可由運動估計單元42及運動補償單元44用作參考塊以對后續(xù)視頻幀中的塊進行幀間譯碼。

視頻編碼器20一般使用上述過程來對經譯碼視頻序列中的每個圖片的每個塊進行編碼。另外，在一些實例中，視頻編碼器20可確定向其指派圖片中的每一者的時間層。此外，視頻編碼器20可經配置以對其它層的圖片(例如，其它視圖、可伸縮視頻譯碼層等)進行編碼。在任何情況下，視頻編碼器20可進一步對指示一層或多層(例如，具有各種視頻維度)中每個圖片所屬的層的數(shù)據(jù)進行編碼。

根據(jù)本發(fā)明的技術，視頻編碼器20還可對其它數(shù)據(jù)結構進行編碼，例如包含(舉例來說)視頻參數(shù)集(VPS)、序列參數(shù)集(SPS)、圖片參數(shù)集(PPS)、輔助增強信息(SEI)消息等的參數(shù)集。根據(jù)本發(fā)明的技術，視頻編碼器20可對包含相對于以上表1或3描述的信息的VPS及/或包含相對于以上表2或4描述的信息的SEI消息進行編碼。

舉例來說，視頻編碼器20可對指示其中對假想參考解碼器(HRD)參數(shù)(例如，包含在VPS中)進行編碼的位流的多個子層的語法元素的值進行編碼。根據(jù)本發(fā)明的技術，視頻編碼器20可對位流的分區(qū)的每個子層的HRD參數(shù)進行編碼，但與分區(qū)的子層相比避免對更多HRD參數(shù)進行譯碼。因此，分區(qū)的HRD參數(shù)數(shù)據(jù)結構的數(shù)目可小于如VPS中所指示的子層的最大數(shù)目。此外，視頻編碼器20可使用HRD參數(shù)處理位流的數(shù)據(jù)。舉例來說，視頻編碼器20可根據(jù)在HRD參數(shù)中用信號表示的數(shù)據(jù)舍棄來自參考圖片存儲器64的經解碼圖片。

作為可為除了上述實例之外的或上述實例的替代方案的另一實例，如果且僅當VclHrdBpPresentFlag等于1(即，具有真值)時，視頻編碼器20可對表示視頻譯碼層HRD參數(shù)的初始到達延遲的語法元素進行編碼。根據(jù)H.265，VclHrdBpPresentFlag的值如下設定：

-如果以下條件中的一或多者為真，那么將VclHrdBpPresentFlag的值設定成等于1：

-vcl_hrd_parameters_present_flag存在于位流中并且等于1。

-以本說明書中未指定的方式通過應用確定對存在于緩沖周期SEI消息中的位流中的VCL HRD操作的緩沖周期的存在的需求。

-否則，將VclHrdBpPresentFlag的值設定成等于0。

因此，根據(jù)本發(fā)明的技術，如果且僅當在位流中對視頻譯碼層(VCL)HRD參數(shù)中的至少一者進行譯碼時或當確定在位流中需要VCL HRD操作的緩沖周期信息時，視頻編碼器20可對表示視頻譯碼層HRD參數(shù)的初始到達延遲的語法元素進行編碼。

以此方式，圖2的視頻編碼器20表示經配置以：對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行編碼，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目；對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼；及使用HRD參數(shù)處理位流的視頻編碼器的實例。

此外，視頻編碼器20表示經配置以僅當在位流中對視頻譯碼層(VCL)HRD參數(shù)中的至少一者進行譯碼時或當確定在位流中需要VCL HRD操作的緩沖周期信息時，對位流分區(qū)初始到達時間輔助增強信息(SEI)消息的初始到達延遲語法元素進行編碼的視頻編碼器的實例。也就是說，視頻編碼器20表示經配置以僅當VclHrdBpPresentFlag具有真值時，對位流分區(qū)初始到達時間輔助增強信息(SEI)消息的初始到達延遲語法元素進行編碼的視頻編碼器的實例。

圖3是說明可實施用于改進假想參考解碼器(HRD)參數(shù)信令的技術的視頻解碼器30的實例的框圖。在圖3的實例中，視頻解碼器30包含熵解碼單元70、運動補償單元72、幀內預測單元74、逆量化單元76、逆變換單元78、參考圖片存儲器82及求和器80。在一些實例中，視頻解碼器30可執(zhí)行一般與關于視頻編碼器20(圖2)描述的編碼遍次互逆的解碼遍次。運動補償單元72可基于從熵解碼單元70接收的運動向量產生預測數(shù)據(jù)，而幀內預測單元74可基于從熵解碼單元70接收的幀內預測模式指示符產生預測數(shù)據(jù)。

在解碼過程期間，視頻解碼器30從視頻編碼器20接收表示經編碼視頻切片的視頻塊及相關聯(lián)的語法元素的經編碼視頻位流。視頻解碼器30的熵解碼單元70對位流進行熵解碼以產生經量化系數(shù)、運動向量或幀內預測模式指示符及其它語法元素。熵解碼單元70將運動向量及其它語法元素轉發(fā)到運動補償單元72。視頻解碼器30可在視頻切片層級及/或視頻塊層級接收語法元素。

當視頻切片經譯碼為經幀內譯碼(I)切片時，幀內預測單元74可基于用信號表示的幀內預測模式及來自當前幀或圖片的先前經解碼塊的數(shù)據(jù)產生用于當前視頻切片的視頻塊的預測數(shù)據(jù)。當視頻幀經譯碼為經幀間譯碼(例如，B、P或GPB)切片時，運動補償單元72基于從熵解碼單元70接收的運動向量及其它語法元素產生用于當前視頻切片的視頻塊的預測性塊?？蓮膮⒖紙D片列表中的一者內的參考圖片中的一者產生預測性塊。視頻解碼器30可基于存儲在參考圖片存儲器82中的參考圖片使用默認構造技術構造參考幀列表，即列表0及列表1。運動補償單元72通過解析運動向量及其它語法元素確定用于當前視頻切片的視頻塊的預測信息，且使用所述預測信息產生用于經解碼的當前視頻塊的預測性塊。舉例來說，運動補償單元72使用一些接收到的語法元素確定用于對視頻切片的視頻塊進行譯碼的預測模式(例如，幀內預測或幀間預測)、幀間預測切片類型(例如，B切片、P切片或GPB切片)、切片的參考圖片列表中的一或多者的構造信息、切片的每一經幀間編碼視頻塊的運動向量、切片的每一經幀間譯碼視頻塊的幀間預測狀態(tài)及用于對當前視頻切片中的視頻塊進行解碼的其它信息。

運動補償單元72還可基于內插濾波器執(zhí)行內插。運動補償單元72可使用如視頻編碼器20在視頻塊的編碼期間使用的內插濾波器來計算參考塊的子整數(shù)像素的內插值。在此情況下，運動補償單元72可根據(jù)接收的語法元素而確定由視頻編碼器20使用的內插濾波器并使用所述內插濾波器來產生預測性塊。

逆量化單元76將提供于位流中且由熵解碼單元70解碼的經量化變換系數(shù)逆量化，即，解量化。逆量化過程可包含使用視頻解碼器30為視頻切片中的每一視頻塊計算以確定應該應用的量化程度及同樣地逆量化程度的量化參數(shù)QP_Y。

逆變換單元78將逆變換(例如，逆DCT、逆整數(shù)變換或概念上類似的逆變換過程)應用于變換系數(shù)以便產生像素域中的殘余塊。

在運動補償單元72基于運動向量及其它語法元素產生當前視頻塊的預測性塊后，視頻解碼器30通過對來自逆變換單元78的殘余塊與由運動補償單元72產生的對應預測性塊求和而形成經解碼視頻塊。求和器80表示執(zhí)行此求和運算的一或多個組件。視需要，還可應用解塊濾波器以對經解碼塊進行濾波，以便清除成塊假影。還可使用其它環(huán)路濾波器(在譯碼環(huán)路中或在譯碼環(huán)路之后)來使像素轉變變平滑或者以其它方式改進視頻質量。接著將給定幀或圖片中的經解碼視頻塊存儲在參考圖片存儲器82中，所述參考圖片存儲器存儲用于后續(xù)運動補償?shù)膮⒖紙D片。參考圖片存儲器82還存儲經解碼視頻以用于稍后呈現(xiàn)在顯示裝置(例如，圖1的顯示裝置32)上。

視頻解碼器30一般使用上述過程來對經譯碼視頻序列中的每個圖片的每個塊進行解碼。另外，在一些實例中，視頻解碼器30可對指示向其指派圖片的時間層的數(shù)據(jù)進行解碼。此外，視頻解碼器30可經配置以對其它層的圖片(例如，其它視圖、可伸縮視頻譯碼層等)進行解碼。在任何情況下，視頻解碼器30可進一步對指示一或多層(例如，具有各種視頻維度)中每個圖片所屬的層的數(shù)據(jù)進行解碼。

根據(jù)本發(fā)明的技術，視頻解碼器30還可對其它數(shù)據(jù)結構進行解碼，例如包含(舉例來說)視頻參數(shù)集(VPS)、序列參數(shù)集(SPS)、圖片參數(shù)集(PPS)、輔助增強信息(SEI)消息等的參數(shù)集。根據(jù)本發(fā)明的技術，視頻解碼器30可對包含相對于以上表1或3描述的信息的VPS及/或包含相對于以上表2或4描述的信息的SEI消息進行解碼。

舉例來說，視頻解碼器30可對指示其中對假想參考解碼器(HRD)參數(shù)(例如，包含在VPS中)進行解碼的位流的多個子層的語法元素的值進行解碼。根據(jù)本發(fā)明的技術，視頻解碼器30可對位流的分區(qū)的每個子層的HRD參數(shù)進行解碼，但與分區(qū)的子層相比避免譯碼更多HRD參數(shù)。因此，分區(qū)的HRD參數(shù)數(shù)據(jù)結構的數(shù)目可小于如VPS中所指示的子層的最大數(shù)目。此外，視頻解碼器30可使用HRD參數(shù)處理位流的數(shù)據(jù)。舉例來說，視頻解碼器30可根據(jù)在HRD參數(shù)中用信號表示的數(shù)據(jù)輸出及/或舍棄來自參考圖片存儲器82的經解碼圖片。具體而言，視頻解碼器30可將經解碼圖片輸出到視頻顯示器(例如，顯示裝置32)以致使視頻顯示器呈現(xiàn)經解碼圖片。

作為可為除了上述實例之外的或上述實例的替代方案的另一實例，如果且僅當VclHrdBpPresentFlag等于1(即，具有真值)時，視頻解碼器30可對表示視頻譯碼層HRD參數(shù)的初始到達延遲的語法元素進行解碼。根據(jù)H.265，VclHrdBpPresentFlag的值如下設定：

-如果以下條件中的一或多者為真，那么將VclHrdBpPresentFlag的值設定成等于1：

-vcl_hrd_parameters_present_flag存在于位流中并且等于1。

-以本說明書中未指定的方式通過應用確定對存在于緩沖周期SEI消息中的位流中的VCL HRD操作的緩沖周期的存在的需求。

-否則，將VclHrdBpPresentFlag的值設定成等于0。

因此，根據(jù)本發(fā)明的技術，如果且僅當在位流中對視頻譯碼層(VCL)HRD參數(shù)中的至少一者進行譯碼時或當確定在位流中需要VCL HRD操作的緩沖周期信息時，視頻解碼器30可對表示視頻譯碼層HRD參數(shù)的初始到達延遲的語法元素進行解碼。

以此方式，圖3的視頻解碼器30表示經配置以：對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行解碼，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目；對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行解碼；及使用HRD參數(shù)處理位流的視頻解碼器的實例。

此外，視頻解碼器30表示經配置以僅當在位流中對視頻譯碼層(VCL)HRD參數(shù)中的至少一者進行譯碼時或當確定在位流中需要VCL HRD操作的緩沖周期信息時，對位流分區(qū)初始到達時間輔助增強信息(SEI)消息的初始到達延遲語法元素進行解碼的視視頻解碼器的實例。也就是說，視頻解碼器30表示經配置以僅當VclHrdBpPresentFlag具有真值時，對位流分區(qū)初始到達時間輔助增強信息(SEI)消息的初始到達延遲語法元素進行解碼的視頻解碼器的實例。視頻解碼器30可基于這些技術確定位流中的位是否對應于位流分區(qū)初始到達時間SEI消息或不同數(shù)據(jù)結構，并且與此正確地解析位流。

圖4是說明根據(jù)本發(fā)明的技術的用于對視頻數(shù)據(jù)進行編碼的實例方法的流程圖。盡管相對于視頻編碼器20(圖1及2)來描述，但應理解，其它裝置可經配置以執(zhí)行類似于圖4的方法。

在此實例中，視頻編碼器20最初確定位流的最大數(shù)目的子層(150)。視頻編碼器20還用信號表示位流的視頻參數(shù)集(VPS)中的最大數(shù)目的子層(152)。位流最后被分割成不同分區(qū)，其中每一者包含子層的特定子集。因此，某些分區(qū)將包含少于最大數(shù)目的子層。

視頻編碼器20接著可確定位流分區(qū)中的子層(154)。視頻編碼器20接著可用信號表示分區(qū)中的每個子層的HRD參數(shù)(156)。舉例來說，如表1及3中所示，視頻編碼器20可對bsp_hrd_idx語法元素的值進行編碼。具體而言，在表1中，視頻編碼器20可對bsp_hrd_idx[h][i][t][j][k]的值進行編碼，而在表3中，視頻編碼器20可對bsp_hrd_idx[h][i][j][k]的值進行編碼。在表1中，這些值通過輸出層集合、分割方案及層集合中的子層的數(shù)目出現(xiàn)在嵌套環(huán)路內，而在表3中，這些值通過輸出層集合及分割方案的數(shù)目出現(xiàn)在嵌套環(huán)路內。

視頻編碼器20還對子層的圖片進行編碼(158)，對子層的經編碼圖片進行解碼(160)并且將經解碼圖片存儲在經解碼圖片緩沖器(DPB)(例如，參考圖片存儲器64(圖2))中(162)。視頻編碼器20存儲經編碼圖片的經解碼版本以隨后用作參考圖片，使得來自參考圖片的這些版本的后續(xù)預測將與由解碼器(例如，視頻解碼器30)解碼的最終版本相同。此外，視頻編碼器20根據(jù)HRD參數(shù)清除來自DPB的經解碼圖片(164)。

此外，根據(jù)本發(fā)明的某些技術，視頻編碼器20可條件性地對位流分區(qū)初始到達時間SEI消息的數(shù)據(jù)進行編碼(166)。具體而言，視頻編碼器20可僅在確定VclHrdBpPresentFlag具有真值(即，1)之后，例如，如果且僅當在位流中對視頻譯碼層(VCL)HRD參數(shù)中的至少一者進行譯碼時或當確定在位流中需要VCL HRD操作的緩沖周期信息時，對位流分區(qū)初始到達時間SEI消息的初始到達延遲語法元素進行編碼。

以此方式，圖4的方法表示包含以下操作的方法的實例：對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行譯碼(在此實例中，編碼)，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目；對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼(在此實例中，編碼)；及使用HRD參數(shù)處理位流。

圖5是說明根據(jù)本發(fā)明的技術的用于對視頻數(shù)據(jù)進行解碼的實例方法的流程圖。盡管關于視頻解碼器30(圖1及3)進行描述，但應理解，其它裝置可經配置以執(zhí)行與圖5類似的方法。

在此實例中，視頻解碼器30最初對指示位流的最大數(shù)目的子層的視頻參數(shù)集(VPS)進行解碼(200)。位流最后被分割成不同分區(qū)，其中每一者包含子層的特定子集。因此，某些分區(qū)將包含少于最大數(shù)目的子層。

視頻解碼器30接著可確定位流分區(qū)中的子層(202)。視頻解碼器30接著可對分區(qū)中的每個子層的HRD參數(shù)進行解碼(204)。舉例來說，如表1及3中所示，視頻解碼器30可對bsp_hrd_idx語法元素的值進行解碼。具體而言，在表1中，視頻解碼器30可對bsp_hrd_idx[h][i][t][j][k]的值進行解碼，而在表3中，視頻解碼器30可對bsp_hrd_idx[h][i][j][k]的值進行解碼。在表1中，這些值通過輸出層集合、分割方案及層集合中的子層的數(shù)目出現(xiàn)在嵌套環(huán)路內，而在表3中，這些值通過輸出層集合及分割方案的數(shù)目出現(xiàn)在嵌套環(huán)路內。

視頻解碼器30還可對子層的經編碼圖片進行解碼(206)并且將經解碼圖片存儲在經解碼圖片緩沖器(DPB)(例如，參考圖片存儲器82(圖3))中(208)。視頻解碼器30存儲經解碼圖片以隨后用作參考圖片，使得來自參考圖片的這些版本的后續(xù)預測與由解碼器(例如，視頻解碼器30)解碼的最終版本相同。此外，視頻解碼器30存儲經解碼圖片，使得視頻解碼器30可在合適的時間輸出經解碼圖片。因此，視頻解碼器30根據(jù)HRD參數(shù)清除及輸出來自DPB的經解碼圖片(210)。

此外，根據(jù)本發(fā)明的某些技術，視頻解碼器30可條件性地對位流分區(qū)初始到達時間SEI消息的數(shù)據(jù)進行解碼(212)。具體而言，視頻解碼器30可僅在確定VclHrdBpPresentFlag具有真值(即，1)之后，例如，如果且僅當在位流中對視頻譯碼層(VCL)HRD參數(shù)中的至少一者進行譯碼時或當確定在位流中需要VCL HRD操作的緩沖周期信息時，對位流分區(qū)初始到達時間SEI消息的初始到達延遲語法元素進行解碼。也就是說，與視頻解碼器30相關聯(lián)的解析器(未展示)可將位流中的某些位解譯為屬于位流分區(qū)初始到達時間SEI消息的語法元素或單獨語法元素。換句話說，解析器可區(qū)分對應于HRD參數(shù)的位流中的位與對應于遵循HRD參數(shù)的語法元素的位流中的位。

以此方式，圖5的方法表示包含以下操作的方法的實例：對指示其中對假想參考解碼器(HRD)參數(shù)進行譯碼的位流的多個子層的語法元素的值進行譯碼(在此實例中，解碼)，其中指示其中對HRD參數(shù)進行譯碼的子層的數(shù)目的值小于由位流的視頻參數(shù)集(VPS)指示的子層的最大數(shù)目；對用于如由語法元素的值指示的子層數(shù)目的HRD參數(shù)進行譯碼(在此實例中，解碼)；及使用HRD參數(shù)處理位流。

應認識到，取決于實例，本文中描述的技術中的任一者的某些動作或事件可用不同順序來執(zhí)行，可添加、合并或全部省略(例如，實踐所述技術未必需要所有所描述動作或事件)。此外，在某些實例中，可例如經由多線程處理、中斷處理或多個處理器同時而非依序執(zhí)行動作或事件。

在一或多個實例中，所描述功能可在硬件、軟件、固件或其任何組合中實施。如果在軟件中實施，那么所述功能可作為一或多個指令或代碼在計算機可讀媒體上存儲或傳輸，并且由基于硬件的處理單元來執(zhí)行。計算機可讀媒體可包含計算機可讀存儲媒體，其對應于例如數(shù)據(jù)存儲媒體等有形媒體，或包含例如，根據(jù)通信協(xié)議促進將計算機程序從一處傳送到另一處的任何媒體的通信媒體。以此方式，計算機可讀媒體一般可對應于(1)非暫時性的有形計算機可讀存儲媒體，或(2)通信媒體，例如信號或載波。數(shù)據(jù)存儲媒體可為可由一或多個計算機或一或多個處理器存取以檢索用于實施本發(fā)明中描述的技術的指令、代碼及/或數(shù)據(jù)結構的任何可用媒體。計算機程序產品可包含計算機可讀媒體。

借助于實例而非限制性地，此類計算機可讀存儲媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置、快閃存儲器或可用于存儲指令或數(shù)據(jù)結構形式的期望程序代碼并且可由計算機存取的任何其它媒體。并且，任何連接被恰當?shù)胤Q作計算機可讀媒體。舉例來說，如果使用同軸纜線、光纖纜線、雙絞線、數(shù)字訂戶線(DSL)或例如紅外線、無線電及微波等無線技術從網站、服務器或其它遠程源傳輸指令，那么同軸纜線、光纖纜線、雙絞線、DSL或例如紅外線、無線電及微波等無線技術包含在媒體的定義中。然而，應理解，所述計算機可讀存儲媒體及數(shù)據(jù)存儲媒體并不包含連接、載波、信號或其它暫時性媒體，而是實際上針對非暫時性的有形存儲媒體。如本文中所使用，磁盤及光盤包含壓縮光盤(CD)、激光光盤、光學光盤、數(shù)字多功能光盤(DVD)、軟性磁盤及藍光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤利用激光以光學方式再現(xiàn)數(shù)據(jù)。以上各項的組合也應包含在計算機可讀媒體的范圍內。

指令可由一或多個處理器執(zhí)行，所述一或多個處理器例如一或多個數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、或其它等效的集成或離散邏輯電路。因此，如本文中所使用的術語“處理器”可指前述結構或適合于實施本文中所描述的技術的任何其它結構中的任一者。另外，在一些方面中，本文中所描述的功能性可在經配置用于編碼及解碼的專用硬件及/或軟件模塊內提供，或者并入在組合編解碼器中。而且，所述技術可完全實施于一或多個電路或邏輯元件中。

本發(fā)明的技術可在廣泛多種裝置或設備中實施，包含無線手持機、集成電路(IC)或一組IC(例如，芯片組)。本發(fā)明中描述各種組件、模塊或單元是為了強調經配置以執(zhí)行所揭示技術的裝置的功能方面，但未必需要由不同硬件單元實現(xiàn)。實際上，如上文所描述，各種單元可結合合適的軟件及/或固件組合在編解碼器硬件單元中，或者通過互操作硬件單元的集合來提供，所述硬件單元包含如上文所描述的一或多個處理器。

描述了各種實例。這些及其它實例在以下權利要求書的范圍內。