在視頻譯碼中的低延遲視頻緩沖的制作方法
【專利摘要】作為一個實例，一種譯碼視頻數(shù)據(jù)的方法包括將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器CPB中。所述方法進一步包括獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間。所述方法進一步包括根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元。所述方法進一步包括確定所述CPB在存取單元級別還是子圖片級別處操作。所述方法進一步包括譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)。如果所述CPB在存取單元級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元。如果所述CPB在子圖片級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元子集。
【專利說明】在視頻譯碼中的低延遲視頻緩沖
[0001]本申請案主張2012年4月4日申請的美國臨時申請案第61/620，266號及2012年5月I日申請的美國臨時申請案第61/641，063號的權(quán)利，所述臨時申請案中的每一者的全部內(nèi)容是以引用方式并入本文中。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明是關(guān)于視頻譯碼。

【背景技術(shù)】
[0003]數(shù)字視頻能力可并入到廣泛范圍的裝置中，所述裝置包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理(PDA)、便攜式或臺式計算機、數(shù)字相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩或衛(wèi)星無線電話、視頻電話會議裝置，及其類似者。視頻譯碼標(biāo)準(zhǔn)包括 ITU-T H.261、IS0/IEC MPEG-1 Visual、ITU-T H.262或 IS0/IEC MPEG-2 Visual、ITU-T H.263、IS0/IEC MPEG-4 Visual，及 ITU-T H.264(也被稱為IS0/IEC MPEG-4 AVC)，包括其可縮放視頻譯碼(SVC)及多視圖視頻譯碼(MVC)擴展。另外，高效率視頻譯碼(HEVC)為由ITU-T視頻譯碼專家組(VCEG)及IS0/IEC運動圖片專家組(MPEG)的研究視頻譯碼的聯(lián)合協(xié)作小組(JCT-VC)開發(fā)的視頻譯碼標(biāo)準(zhǔn)。被稱為“HEVC工作草稿6”或“HEVC WD6”的即將到來的HEVC標(biāo)準(zhǔn)的新近草稿被描述在Bross等人的文檔 JCTVC-H1003 的 “High efficiency video coding (HEVC) text specificat1ndraft 6”(ITU-T SG16 WP3及IS0/IEC JTC1/SC29/WG11的研究視頻譯碼的聯(lián)合協(xié)作小組(JCT-VC)，第8次會議:美國加利福尼亞圣荷西，2012年2月)中，到2012年5月I日為止，所述文檔可從 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/8_San %20Jose/wgll/JCTVC-H1003-v22.zip 處下載。
[0004]視頻壓縮技術(shù)執(zhí)行空間預(yù)測及/或時間預(yù)測以縮減或移除為視頻序列所固有的冗余。對于基于塊的視頻譯碼，可將視頻幀或切片分割成若干宏塊?？蛇M一步分割每一宏塊。使用關(guān)于相鄰宏塊的空間預(yù)測來編碼經(jīng)幀內(nèi)譯碼(I)幀或切片中的宏塊。經(jīng)幀間譯碼(P或B)幀或切片中的宏塊可使用關(guān)于所述同一幀或切片中的相鄰宏塊的空間預(yù)測，或關(guān)于其它參考幀的時間預(yù)測。


【發(fā)明內(nèi)容】

[0005]大體上，本發(fā)明描述用以以可互操作方式實現(xiàn)縮減編碼解碼器延遲的各種技術(shù)。在一個實例中，這些技術(shù)可經(jīng)由一般的基于子圖片的經(jīng)譯碼圖片緩沖器(CPB)行為而實現(xiàn)。
[0006]在一個實例中，一種譯碼視頻數(shù)據(jù)的方法包括將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器(CPB)中。所述方法進一步包括獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間。所述方法進一步包括根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元。所述方法進一步包括確定所述CPB在存取單元級別還是子圖片級別處操作。所述方法進一步包括譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)。如果所述CPB在存取單元級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元。如果所述CPB在子圖片級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元子集。
[0007]在另一實例中，一種用于譯碼視頻數(shù)據(jù)的裝置經(jīng)配置以將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器(CPB)中。所述裝置經(jīng)進一步配置以獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間。所述裝置經(jīng)進一步配置以根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元。所述裝置經(jīng)進一步配置以確定所述CPB在存取單元級別還是子圖片級別處操作。所述裝置經(jīng)進一步配置以譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)。如果所述CPB在存取單元級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元。如果所述CPB在子圖片級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元子集。
[0008]在另一實例中，一種用于譯碼視頻數(shù)據(jù)的設(shè)備包括用于將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器(CPB)中的裝置。所述設(shè)備進一步包括用于獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間的裝置。所述設(shè)備進一步包括用于根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元的裝置。所述設(shè)備進一步包括用于確定所述CPB在存取單元級別還是子圖片級別處操作的裝置。所述設(shè)備進一步包括用于譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)的裝置。如果所述CPB在存取單元級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元。如果所述CPB在子圖片級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元子集。
[0009]在另一實例中，一種計算機可讀存儲媒體包含存儲在其上的指令，所述指令在執(zhí)行時使處理器將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器(CPB)中。所述指令進一步使處理器獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間。所述指令進一步使處理器根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元。所述指令進一步使處理器確定所述CPB在存取單元級別還是子圖片級別處操作。所述指令進一步使處理器譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)。如果所述CPB在存取單元級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元。如果所述CPB在子圖片級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元子集。
[0010]在隨附圖式及以下描述中闡述一或多個實例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)點將從所述描述及所述圖式以及從權(quán)利要求書變得顯而易見。

【專利附圖】

【附圖說明】
[0011]圖1為根據(jù)本發(fā)明的技術(shù)的說明可利用用于對視頻塊之間的邊緣進行去塊的技術(shù)的實例視頻編碼及解碼系統(tǒng)的框圖。
[0012]圖2為根據(jù)本發(fā)明的技術(shù)的說明可實施用于對視頻塊之間的邊緣進行去塊的技術(shù)的視頻編碼器的實例的框圖。
[0013]圖3為根據(jù)本發(fā)明的技術(shù)的說明解碼經(jīng)編碼視頻序列的視頻解碼器的實例的框圖。
[0014]圖4為說明可實施本發(fā)明的技術(shù)中的任一者或全部的實例目的地裝置的框圖。
[0015]圖5為根據(jù)本發(fā)明的技術(shù)的說明包括根據(jù)所獲得緩沖器移除時間而從圖片緩沖器移除視頻數(shù)據(jù)的解碼單元的實例方法的流程圖。
[0016]圖6為根據(jù)本發(fā)明的技術(shù)的說明包括根據(jù)所獲得緩沖器移除時間而從圖片緩沖器移除視頻數(shù)據(jù)的解碼單元的另一實例方法的流程圖。
[0017]圖7為根據(jù)本發(fā)明的技術(shù)的說明處理視頻數(shù)據(jù)的另一實例方法的流程圖，所述方法包括在提高進程中輸出經(jīng)剪裁圖片。

【具體實施方式】
[0018]視頻應(yīng)用程序可包括本地播放、流式處理、廣播/多播及交談應(yīng)用程序。交談應(yīng)用程序可包括視頻電話及視頻會議，且也被稱為低延遲應(yīng)用程序。交談應(yīng)用程序需要全部系統(tǒng)的相對低的端對端延遲，即，視頻幀被捕獲時的時間與視頻幀被顯示時的時間之間的延遲。通常，針對交談應(yīng)用程序的可接受的端對端延遲應(yīng)小于400毫秒(ms)，且大約150ms的端對端延遲可被視為極好。每一處理步驟可促成整體端對端延遲，例如，捕獲延遲、預(yù)處理延遲、編碼延遲、傳輸延遲、接收緩沖延遲(針對去抖動)、解碼延遲、經(jīng)解碼圖片輸出延遲、后處理延遲，及顯示延遲。因此，通常，編碼解碼器延遲(編碼延遲、解碼延遲及經(jīng)解碼圖片輸出延遲)在交談應(yīng)用程序中應(yīng)最小化。特別地，譯碼結(jié)構(gòu)應(yīng)確保圖片的解碼順序與輸出順序完全相同，使得經(jīng)解碼圖片輸出延遲等于零。
[0019]視頻譯碼標(biāo)準(zhǔn)可包括視頻緩沖模型的規(guī)范。在AVC及HEVC中，緩沖模型被稱為假設(shè)參考解碼器(HRD)，其包括經(jīng)譯碼圖片緩沖器(CPB)及經(jīng)解碼圖片緩沖器(DPB)兩者的緩沖模型，且CPB行為及DPB行為是以數(shù)學(xué)方式指定。HRD對不同計時、緩沖器大小及位速率直接強加約束，且對位流特性及統(tǒng)計間接強加約束。HRD參數(shù)的完整集合包括五個基本參數(shù):初始CPB移除延遲、CPB大小、位速率、初始DPB輸出延遲，及DPB大小。
[0020]在AVC及HEVC中，作為HRD規(guī)范的部分，指定位流一致性及解碼器一致性。盡管HRD被命名為一種類型的解碼器，但通常在編碼器側(cè)處需要HRD以保證位流一致性，而在解碼器側(cè)處通常不需要HRD。指定兩種類型的位流或HRD —致性，S卩，Type I及Type II。同樣地，指定兩種類型的解碼器一致性:輸出計時解碼器一致性及輸出順序解碼器一致性。
[0021]在AVC及HEVC HRD模型中，解碼或CPB移除是基于存取單元，且假設(shè)圖片解碼瞬時。在實際應(yīng)用中，如果一致解碼器嚴(yán)格地遵循(例如)在圖片計時補充增強信息(SEI)消息中發(fā)信的解碼時間以開始存取單元的解碼，那么輸出特定經(jīng)解碼圖片的最早可能時間等于那個特定圖片的解碼時間加解碼那個特定圖片所需要的時間。不同于AVC及HEVC HRD模型，在現(xiàn)實世界中解碼圖片所需要的時間不等于零。如貫穿本發(fā)明所使用的術(shù)語“瞬時”及“瞬時地”可指可在一或多個譯碼模型或任何一或多個譯碼模型的理想化方面中被假設(shè)為瞬時的任何持續(xù)時間，其中應(yīng)理解，這種情形可不同于在物理或文本意義上“瞬時”。舉例來說，出于本發(fā)明的目的，如果函數(shù)或進程發(fā)生在針對所述待執(zhí)行函數(shù)或進程的假設(shè)或理想化最早可能時間的實際邊限時或內(nèi)，那么所述函數(shù)或進程可被視為名義上“瞬時”。在一些實例中，如本文所使用的語法及變量名稱可根據(jù)其在HEVC模型內(nèi)的含義加以理解。
[0022]基于子圖片的CPB行為是在Kazui 等人的“Enhancement on operat1n of codedpicture buffer^(ITU-T SG16 WP3 及 ISO/IEC JTC1/SC29/WG11 的研究視頻譯碼的聯(lián)合協(xié)作小組(JCT-VC)，第 7 次會議:日內(nèi)瓦，CH 21-30,2011 年 11 月，JCTVC-G188 (可在 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/7_Geneva/wgll/JCTVC-G188-v2.zip處得到))中被提出，以便以可互操作方式實現(xiàn)一個以下圖片周期的譯碼延遲。可如下匯總JCTVC-G188方法:可將圖片均勻地劃分成M個樹塊組，即，所述圖片的樹塊光柵掃描中的第一 M個樹塊屬于第一樹塊組，所述圖片的樹塊光柵掃描中的第二 M個樹塊屬于第二樹塊組，等等。值M可在緩沖周期SEI消息中被發(fā)信。這個值可用以導(dǎo)出每一樹塊組的CPB移除時間(即，解碼時間)。在這種意義上，JCTVC-G188CPB行為是基于子圖片，其中每一子圖片為樹塊組。在一些實例中，子圖片可對應(yīng)于一或多個切片、一或多個波(用于圖片的波前分割)，或一或多個圖像塊。在JCTVC-G188的這種方法中假設(shè)存取單元級別CPB移除時間照常被發(fā)信(使用圖片計時SEI消息)，且在每一存取單元內(nèi)，用于樹塊組的CPB移除時間被假設(shè)為線性地或均勻地劃分從上一存取單元的CPB移除時間到當(dāng)前存取單元的CPB移除時間的間隔。
[0023]JCTVC-G188的這種方法進一步暗示以下假設(shè)或位流要求:(I)在每一圖片內(nèi)，每一樹塊組是以需要相同量的解碼時間的方式被編碼(不僅在HRD模型中，而且針對現(xiàn)實世界解碼器)，其中第一樹塊組的經(jīng)譯碼數(shù)據(jù)被視為包括在同一存取單元中且在第一 VCL(視頻譯碼層)NAL(網(wǎng)絡(luò)抽象層)單元之前的所有非VCL NAL單元；(2)在每一圖片內(nèi)，用于每一樹塊組的位的數(shù)目完全相同，其中第一樹塊組的經(jīng)譯碼數(shù)據(jù)被視為包括在同一存取單元中且在第一 VCL NAL單元之前的所有非VCL NAL單元。
[0024]用于指定基于子圖片的CPB行為的現(xiàn)有方法是與至少以下問題相關(guān)聯(lián):(I)用于經(jīng)譯碼圖片中的每一樹塊組的經(jīng)譯碼數(shù)據(jù)的量完全相同的要求難以用平衡的譯碼性能而實現(xiàn)(其中圖片中具有更詳細(xì)紋理或運動活動的區(qū)域的樹塊組可使用更多位)。(2)當(dāng)一個以上樹塊組包括在切片中時，可不存在容易的方式來拆分屬于不同樹塊組的樹塊的經(jīng)譯碼位，及在編碼器側(cè)處單獨地發(fā)送所述位且從CPB單獨地移除所述位(即，單獨地解碼所述位)。
[0025]為了解決以上問題，本發(fā)明用各種替代例來描述用于支持基于子圖片的CPB行為的一般設(shè)計。在一些實例中，本發(fā)明的基于子圖片的CPB技術(shù)的特征可包括以下技術(shù)的方面:(1)每一子圖片可包括在解碼順序方面連續(xù)的經(jīng)譯碼圖片的數(shù)個譯碼塊。譯碼塊可完全相同于樹塊，或樹塊的子集；(2)可照常執(zhí)行子圖片的譯碼及位到圖片中的不同子圖片的分配，而不假設(shè)或要求用相同量的位來譯碼一個圖片中的每一子圖片(即，樹塊組)。因此，用于每一子圖片的CPB移除時間可在位流中被發(fā)信，而非根據(jù)經(jīng)發(fā)信圖片級別CPB移除時間而導(dǎo)出；(3)當(dāng)一個以上子圖片包括在切片中時，可在每一子圖片結(jié)束時應(yīng)用字節(jié)對準(zhǔn)，這與(例如)用于HEVC WD6中的圖像塊的字節(jié)對準(zhǔn)形成對比。此外，每一子圖片(惟經(jīng)譯碼圖片中的第一子圖片除外)的入口點可被發(fā)信，這與(例如)用于HEVC WD6中的圖像塊的字節(jié)對準(zhǔn)形成對比。舉例來說，經(jīng)接收發(fā)信值可指示在視頻數(shù)據(jù)的較大集合(諸如，切片、圖像塊或幀)內(nèi)的子圖片中的至少一者的字節(jié)對準(zhǔn)。特征(I)到(3)中的每一者可被獨立地應(yīng)用或結(jié)合其它特征而應(yīng)用。
[0026]在一個實例中，可如下匯總包括基于子圖片的CPB行為的HRD操作:當(dāng)發(fā)信指示基于子圖片的CPB行為在使用中時(例如，經(jīng)由等于I的語法元素Sub_piC_Cpb_flag的序列級別發(fā)信)，CPB移除或解碼是基于子圖片，或等效地，是基于解碼單元，解碼單元可為存取單元或存取單元的子集。換言之，每當(dāng)從CPB移除解碼單元(無論是存取單元還是存取單元的子集)以供解碼時，就可從經(jīng)發(fā)信初始CPB移除延遲及針對解碼單元而發(fā)信的CPB移除延遲導(dǎo)出解碼單元離開CPB的移除時間。CPB下溢被指定為如下條件:對于m的任何值，解碼單元m的名義CPB移除時間tM(m)小于解碼單元m的最終CPB移除時間taf (m)。在一個實例中，當(dāng)語法元素low_delay_hrd_flag等于O時,要求CPB永不下溢。
[0027]在一個實例中，DPB輸出及移除進程可仍在圖片級別或存取單元級別處操作，即，每當(dāng)從DPB輸出或移除整個經(jīng)解碼圖片時。經(jīng)解碼圖片從DPB的移除可在存取單元η (含有當(dāng)前圖片)的第一解碼單元的CPB移除時間瞬時地發(fā)生。
[0028]圖1為說明可利用尤其用于以下操作的技術(shù)的實例視頻編碼及解碼系統(tǒng)10的框圖:將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中；獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間；根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元；及譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。
[0029]如圖1所示，系統(tǒng)10包括源裝置12，源裝置12經(jīng)由通信信道16而將經(jīng)編碼視頻傳輸?shù)侥康牡匮b置14。源裝置12及目的地裝置14可包含廣泛范圍的裝置中的任一者。在一些狀況下，源裝置12及目的地裝置14可包含無線通信裝置，諸如，無線手機、所謂的蜂窩或衛(wèi)星無線電話，或可經(jīng)由通信信道16而傳達(dá)視頻信息的任何無線裝置，在這種狀況下，通信信道16是無線的。然而，本發(fā)明的技術(shù)未必限于無線應(yīng)用或設(shè)置。舉例來說，這些技術(shù)可應(yīng)用于空中電視廣播、有線電視傳輸、衛(wèi)星電視傳輸、因特網(wǎng)視頻傳輸、編碼到存儲媒體上的經(jīng)編碼數(shù)字視頻，或其它情境。因此，通信信道16可包含適合于經(jīng)編碼視頻數(shù)據(jù)的傳輸或存儲的無線媒體、有線媒體或存儲媒體的任何組合。
[0030]替代地，經(jīng)編碼數(shù)據(jù)可從傳輸器24輸出到存儲裝置34。相似地，經(jīng)編碼數(shù)據(jù)可由接收器26從存儲裝置34存取。存儲裝置34可包括多種分布式或本地存取式數(shù)據(jù)存儲媒體中的任一者，諸如，硬盤驅(qū)動器、藍(lán)光光盤、DVD、CD-ROM、閃速存儲器、易失性或非易失性存儲器，或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適數(shù)字存儲媒體。在另外實例中，存儲裝置34可對應(yīng)于文件服務(wù)器、虛擬服務(wù)器、數(shù)據(jù)中心、數(shù)據(jù)中心的冗余網(wǎng)絡(luò)，或可保持由源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲裝置。目的地裝置14可經(jīng)由流式處理或下載而從存儲裝置34存取經(jīng)存儲視頻數(shù)據(jù)。存儲裝置34或其部分的文件服務(wù)器實施可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將那個經(jīng)編碼視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14的任何服務(wù)器類型。實例文件服務(wù)器包括web服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)連接存儲(NAS)裝置，或本地磁盤驅(qū)動器。目的地裝置14可經(jīng)由包括因特網(wǎng)連接的任何標(biāo)準(zhǔn)數(shù)據(jù)連接而存取經(jīng)編碼視頻數(shù)據(jù)。這種連接可包括適合于存取存儲在遠(yuǎn)程或非本地存儲裝置34上的經(jīng)編碼視頻數(shù)據(jù)的無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器，等等)，或這兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置34的傳輸可為流式處理傳輸、下載傳輸，或這兩者的組合。
[0031]在圖1的實例中，源裝置12包括視頻源18、視頻編碼器20、調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)22及傳輸器24。目的地裝置14包括接收器26、調(diào)制解調(diào)器28、視頻解碼器30及顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻編碼器20可經(jīng)配置以應(yīng)用尤其用于以下操作的技術(shù):將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中；獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間；根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元；及譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。在其它實例中，源裝置及目的地裝置可包括其它組件或排列。舉例來說，源裝置12可從外部視頻源(諸如，夕卜部相機)而非整合式視頻源18接收視頻數(shù)據(jù)。同樣地，目的地裝置14可與外部顯示裝置界接，而非包括整合式顯示裝置32。
[0032]圖1的所說明系統(tǒng)10僅僅為一個實例。用于以下操作的技術(shù)可由任何數(shù)字視頻編碼及/或解碼裝置執(zhí)行:將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中；獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間；根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元；及譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。盡管本發(fā)明的技術(shù)通常是由視頻編碼裝置執(zhí)行，但所述技術(shù)也可由通常被稱為“CODEC”的視頻編碼器/解碼器執(zhí)行。此外，本發(fā)明的技術(shù)也可由視頻預(yù)處理器執(zhí)行。源裝置12及目的地裝置14僅僅為這些譯碼裝置的實例，其中源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)以供傳輸?shù)侥康牡匮b置14。在一些實例中，裝置12、14可以大體上對稱方式而操作，使得裝置12、14中的每一者包括視頻編碼及解碼組件。因此，系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻傳輸，例如，用于視頻流式處理、視頻播放、視頻廣播或視頻電話。
[0033]源裝置12的視頻源18可包括諸如攝像機的視頻捕獲裝置、含有經(jīng)以前捕獲視頻的視頻存檔，及/或來自視頻內(nèi)容提供者的視頻饋送。作為另外替代例，視頻源18可產(chǎn)生基于計算機圖形的數(shù)據(jù)作為源視頻，或?qū)崨r視頻、經(jīng)存檔視頻與經(jīng)計算機產(chǎn)生視頻的組合。在一些狀況下，如果視頻源18為攝像機，那么源裝置12及目的地裝置14可形成所謂的相機電話或視頻電話。然而，如上文所提及，本發(fā)明所描述的技術(shù)大體上可適用于視頻譯碼，且可應(yīng)用于無線及/或有線應(yīng)用。在每一狀況下，經(jīng)捕獲、經(jīng)預(yù)捕獲或經(jīng)計算機產(chǎn)生視頻可由視頻編碼器20編碼。經(jīng)編碼視頻信息接著可由調(diào)制解調(diào)器22根據(jù)通信標(biāo)準(zhǔn)而調(diào)制，且經(jīng)由傳輸器24而傳輸?shù)侥康牡匮b置14。調(diào)制解調(diào)器22可包括各種混頻器、濾波器、放大器，或經(jīng)設(shè)計用于信號調(diào)制的其它組件。傳輸器24可包括經(jīng)設(shè)計用于傳輸數(shù)據(jù)的電路，包括放大器、濾波器及一或多個天線。
[0034]目的地裝置14的接收器26經(jīng)由信道16而接收信息，且調(diào)制解調(diào)器28解調(diào)所述信息。同樣地，視頻編碼進程可實施本文所描述的技術(shù)中的一或多者，尤其以將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中、獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間、根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元，且譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。經(jīng)由信道16而傳達(dá)的信息可包括由視頻編碼器20定義的語法信息，所述語法信息也可由視頻解碼器30使用，其包括描述宏塊、譯碼樹單元、切片及其它經(jīng)譯碼單元(例如，圖片組(GOP))的特性及/或處理的語法元素。顯示裝置32向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包含多種顯示裝置中的任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、等離子顯示器、有機發(fā)光二極管(OLED)顯示器，或另一類型的顯示裝置。
[0035]在圖1的實例中，通信信道16可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個物理傳輸線，或無線媒體與有線媒體的任何組合。通信信道16可形成基于數(shù)據(jù)包的網(wǎng)絡(luò)的部分，諸如，局域網(wǎng)、廣域網(wǎng)，或諸如因特網(wǎng)的全局網(wǎng)絡(luò)。通信信道16通常表示用于將視頻數(shù)據(jù)從源裝置12傳輸?shù)侥康牡匮b置14的任何合適通信媒體或不同通信媒體的集合，包括有線或無線媒體的任何合適組合。通信信道16可包括路由器、交換機、基站，或可用以促進從源裝置12到目的地裝置14的通信的任何其它設(shè)備。在其它實例中，源裝置12可將經(jīng)編碼數(shù)據(jù)存儲到存儲媒體上，諸如，存儲在存儲裝置34中，而非傳輸所述數(shù)據(jù)。同樣地，目的地裝置14可經(jīng)配置以從存儲裝置34或另一存儲媒體或裝置檢索經(jīng)編碼數(shù)據(jù)。
[0036]視頻編碼器20及視頻解碼器30可根據(jù)諸如本文所描述的標(biāo)準(zhǔn)的視頻壓縮標(biāo)準(zhǔn)而操作。然而，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。盡管圖1中未圖示，但在一些方面中，視頻編碼器20及視頻解碼器30可各自與音頻編碼器及解碼器整合，且可包括適當(dāng)MUX-DEMUX單元或其它硬件及軟件，以處置公共數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻及視頻兩者的編碼。適用時，MUX-DEMUX單元可符合ITU H.223多路復(fù)用器協(xié)議，或諸如用戶數(shù)據(jù)報協(xié)議(m)P)的其它協(xié)議。
[0037]視頻編碼器20及視頻解碼器30可各自被實施為多種合適編碼器電路中的任一者，諸如，一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、包括諸如編碼器或解碼器的視頻譯碼裝置的無線通信裝置、離散邏輯、軟件、硬件、固件，或其任何組合。視頻編碼器20及視頻解碼器30中的每一者可包括在一或多個編碼器或解碼器中，所述一或多個編碼器或解碼器中的任一者可在相應(yīng)相機、計算機、移動裝置、訂戶裝置、廣播裝置、機頂盒、服務(wù)器或其它裝置中整合為組合式編碼器/解碼器(CODEC)的部分。
[0038]視頻序列通常包括一系列視頻幀。圖片組(GOP)通常包含一系列一或多個視頻幀。GOP可包括在GOP的標(biāo)頭中、在GOP的一或多個幀的標(biāo)頭中或在別處的語法數(shù)據(jù)，所述語法數(shù)據(jù)描述包括在GOP中的幀的數(shù)目。每一幀可包括描述用于相應(yīng)幀的編碼模式的幀語法數(shù)據(jù)。視頻編碼器20通常對個別視頻幀內(nèi)的視頻塊(也被稱為譯碼單元(CU))進行操作，以便編碼視頻數(shù)據(jù)。視頻塊可對應(yīng)于最大譯碼單元(LCU)或LCU的分區(qū)。視頻塊可具有固定或變化大小，且其大小可根據(jù)指定譯碼標(biāo)準(zhǔn)而不同。每一視頻幀可包括多個切片。每一切片可包括多個LCU，所述IXU可排列成若干分區(qū)，也被稱為子⑶。IXU也可被稱為譯碼樹單元。
[0039]作為實例，ITU-T H.264標(biāo)準(zhǔn)支持以下各者:以各種塊大小的幀內(nèi)預(yù)測，諸如，針對亮度分量的16乘16、8乘8或4乘4，及針對色度分量的8X8 ;以及以各種塊大小的幀間預(yù)測，諸如，針對亮度分量的16X16、16X8、8X16、8X8、8X4、4X8及4X4，及針對色度分量的對應(yīng)縮放大小。在本發(fā)明中，“NXN”與“N乘N”可互換式地用以在垂直維度及水平維度方面指塊的像素尺寸，例如，16X16像素或16乘16像素。一般而言，16X16塊將具有在垂直方向上的16個像素(y = 16)，及在水平方向上的16個像素(x = 16)。同樣地，NXN塊通常具有在垂直方向上的N個像素及在水平方向上的N個像素，其中N表示非負(fù)整數(shù)值。塊中的像素可以行及列而排列。此外，塊未必需要在水平方向上與在垂直方向上具有相同數(shù)目個像素。舉例來說，塊可包含NXM像素，其中M未必等于N。
[0040]視頻塊可包含在像素域中的像素數(shù)據(jù)塊，或在變換域中的變換系數(shù)塊，例如，在將諸如離散余弦變換(DCT)、整數(shù)變換、小波變換或概念上相似變換的變換應(yīng)用于表示經(jīng)譯碼視頻塊與預(yù)測性視頻塊之間的像素差的殘余視頻塊數(shù)據(jù)之后。在一些狀況下，視頻塊可包含在變換域中的經(jīng)量化變換系數(shù)塊。
[0041]較小視頻塊可提供較好分辨率，且可用于視頻幀的包括高細(xì)節(jié)級別的位置。一般而言，可將塊及各種分區(qū)(有時被稱為子塊)視為視頻塊。另外，可將切片視為多個視頻塊，諸如，塊及/或子塊。每一切片可為視頻幀的可獨立解碼單元。替代地，幀自身可為可解碼單元，或幀的其它部分可被定義為可解碼單元。術(shù)語“經(jīng)譯碼單元”可指視頻幀的任何可獨立解碼單元，諸如，整個幀或幀的切片、也被稱為經(jīng)譯碼視頻序列的圖片組(GOP)，或根據(jù)適用譯碼技術(shù)而定義的另一可獨立解碼單元。
[0042]在進行幀內(nèi)預(yù)測性或幀間預(yù)測性譯碼以產(chǎn)生預(yù)測性數(shù)據(jù)及殘余數(shù)據(jù)之后，且在進行任何變換(諸如，在H.264/AVC中使用的4X4或8X8整數(shù)變換，或離散余弦變換DCT)以產(chǎn)生變換系數(shù)之后，可執(zhí)行變換系數(shù)的量化。量化通常是指量化變換系數(shù)以可能地縮減用以表示所述系數(shù)的數(shù)據(jù)的量的進程。量化進程可縮減與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。舉例來說，η位值可在量化期間降值舍入到m位值，其中η大于m。
[0043]HEVC將視頻數(shù)據(jù)塊稱為譯碼單元(⑶)，所述⑶可包括一或多個預(yù)測單元(PU)及/或一或多個變換單元(TU)。本發(fā)明也可使用術(shù)語“塊”以指⑶、PU或TU中的任一者。位流內(nèi)的語法數(shù)據(jù)可定義最大譯碼單元(LCU)，所述LCU在像素的數(shù)目方面為最大譯碼單元。一般而言，CU具有與H.264的宏塊的目的相似的目的，惟CU不具有大小區(qū)別除外。因此，CU可拆分成若干子CU。一般而言，在本發(fā)明中對CU的參考可指圖片的最大譯碼單元，或LCU的子⑶。IXU可拆分成若干子⑶，且每一子⑶可進一步拆分成若干子⑶。用于位流的語法數(shù)據(jù)可定義LCU可被拆分的最大次數(shù)，被稱為CU深度。因此，位流也可定義最小譯碼單元(SCU)。
[0044]IXU可與四叉樹數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。一般而言，四叉樹數(shù)據(jù)結(jié)構(gòu)包括每⑶一個節(jié)點，其中根節(jié)點對應(yīng)于LCU。如果CU拆分成四個子CU，那么對應(yīng)于所述CU的節(jié)點包括四個葉節(jié)點，所述葉節(jié)點中的每一者對應(yīng)于所述子CU中的一者。四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點可提供用于對應(yīng)CU的語法數(shù)據(jù)。舉例來說，四叉樹中的節(jié)點可包括拆分旗標(biāo)，所述拆分旗標(biāo)指示對應(yīng)于所述節(jié)點的CU是否拆分成若干子CU。用于CU的語法元素可被遞歸地定義，且可取決于CU是否拆分成若干子CU。如果CU未被進一步拆分，那么其被稱為葉CU。在本發(fā)明中，葉CU的4個子CU也將被稱為葉CU，但不存在原始葉CU的顯式拆分。舉例來說，如果以16X16大小的⑶未被進一步拆分，那么四個8X8子⑶也可被稱為葉⑶，但16X16CU尚未被拆分。
[0045]此外，葉⑶的TU也可與相應(yīng)四叉樹數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。即，葉⑶可包括指示葉⑶如何拆分成若干TU的四叉樹。本發(fā)明將指示LCU如何被分割的四叉樹稱為CU四叉樹，且將指示葉CU如何分割成若干TU的四叉樹稱為TU四叉樹。TU四叉樹的根節(jié)點通常對應(yīng)于葉⑶，而⑶四叉樹的根節(jié)點通常對應(yīng)于IXU。TU四叉樹的未被拆分的TU可被稱為葉TU。
[0046]葉⑶可包括一或多個預(yù)測單元(PU)。一般而言，PU表示對應(yīng)⑶的全部或部分，且可包括用于檢索用于所述PU的參考樣本的數(shù)據(jù)。舉例來說，當(dāng)PU被幀間模式編碼時，PU可包括定義用于PU的運動矢量的數(shù)據(jù)。定義運動矢量的數(shù)據(jù)可描述(例如)運動矢量的水平分量、運動矢量的垂直分量、用于運動矢量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運動矢量所指向的參考幀，及/或用于運動矢量的參考列表(例如，列表O或列表I)。定義I3U的用于葉CU的數(shù)據(jù)也可描述(例如)CU成為一或多個I3U的分割。取決于CU未被譯碼、被幀內(nèi)預(yù)測模式編碼還是被幀間預(yù)測模式編碼，分割模式可不同。對于幀內(nèi)譯碼，PU可被視為與下文所描述的葉變換單元相同。
[0047]葉⑶可包括一或多個變換單元(TU)。所述變換單元可使用TU四叉樹結(jié)構(gòu)予以指定，如上文所論述。即，拆分旗標(biāo)可指示葉CU是否拆分成四個變換單元。接著，每一變換單元可進一步拆分成4個子TU。當(dāng)TU未被進一步拆分時，其可被稱為葉TU。一般而言，拆分旗標(biāo)可指示葉TU拆分成若干正方形TU。為了指示TU拆分成若干非正方形TU，可包括其它語法數(shù)據(jù)，例如，指示TU將根據(jù)非正方形四叉樹變換(NSQT)而分割的語法數(shù)據(jù)。
[0048]通常，對于幀內(nèi)譯碼，屬于葉⑶的所有葉TU共享相同幀內(nèi)預(yù)測模式。S卩，通常應(yīng)用相同幀內(nèi)預(yù)測模式以計算葉CU的所有TU的預(yù)測值。對于幀內(nèi)譯碼，視頻編碼器可使用幀內(nèi)預(yù)測模式來計算每一葉TU的殘余值，作為預(yù)測性值的對應(yīng)于TU的部分與原始塊之間的差。殘余值可被變換、量化及掃描。對于幀間譯碼，視頻編碼器可在PU級別處執(zhí)行預(yù)測，且可計算用于每一 PU的殘余。對應(yīng)于葉CU的殘余值可被變換、量化及掃描。對于幀間譯碼，葉TU可大于或小于PU。對于幀內(nèi)譯碼，I3U可與對應(yīng)葉TU并置。在一些實例中，葉TU的最大大小可為對應(yīng)葉CU的大小。
[0049]一般而言，本發(fā)明使用術(shù)語⑶及TU以分別指葉⑶及葉TU，除非另有提到。一般而言，本發(fā)明的技術(shù)是關(guān)于變換、量化、掃描及熵編碼CU的數(shù)據(jù)。作為實例，本發(fā)明的技術(shù)包括選擇待使用的變換，以基于用以預(yù)測經(jīng)幀內(nèi)預(yù)測塊的幀內(nèi)預(yù)測模式來變換所述塊的殘余值。本發(fā)明也使用術(shù)語“方向性變換”或“經(jīng)設(shè)計變換”以指取決于幀內(nèi)預(yù)測模式方向的此類變換。即，視頻編碼器可選擇方向性變換以應(yīng)用于變換單元(TU)。如上文所提到，幀內(nèi)預(yù)測包括從圖片的經(jīng)以前譯碼⑶及TU預(yù)測所述同一圖片的當(dāng)前⑶的TU。更具體地說，視頻編碼器可使用特定幀內(nèi)預(yù)測模式來幀內(nèi)預(yù)測圖片的當(dāng)前TU。
[0050]在量化之后，可(例如)根據(jù)內(nèi)容自適應(yīng)可變長度譯碼(CAVLC)、上下文自適應(yīng)二進制算術(shù)譯碼(CABAC)、概率區(qū)間分割熵譯碼(PIPE)或另一熵譯碼方法來執(zhí)行經(jīng)量化數(shù)據(jù)的熵譯碼。經(jīng)配置用于熵譯碼的處理單元或另一處理單元可執(zhí)行其它處理功能，諸如，經(jīng)量化系數(shù)的零行程長度譯碼，及/或語法信息的產(chǎn)生，諸如，經(jīng)譯碼塊樣式(CBP)值、宏塊類型、譯碼模式、用于經(jīng)譯碼單元(諸如，幀、切片、宏塊或序列)的最大宏塊大小，或其它語法信息。
[0051]視頻編碼器20可經(jīng)配置以執(zhí)行反量化及反變換，以將待作為參考而用于預(yù)測后續(xù)塊的經(jīng)解碼塊存儲在(例如)待在時間上預(yù)測的同一或相同幀中。視頻編碼器20可(例如)在幀標(biāo)頭、塊標(biāo)頭、切片標(biāo)頭或GOP標(biāo)頭中進一步將諸如基于塊的語法數(shù)據(jù)、基于幀的語法數(shù)據(jù)及基于GOP的語法數(shù)據(jù)的語法數(shù)據(jù)發(fā)送到視頻解碼器30。GOP語法數(shù)據(jù)可描述相應(yīng)GOP中的幀的數(shù)目，且?guī)Z法數(shù)據(jù)可指示用以編碼對應(yīng)幀的編碼/預(yù)測模式。
[0052]適用時，視頻編碼器20及視頻解碼器30可各自被實施為多種合適編碼器或解碼器電路中的任一者，諸如，一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯電路、軟件、硬件、固件，或其任何組合。視頻編碼器20及視頻解碼器30中的每一者可包括在一或多個編碼器或解碼器中，所述一或多個編碼器或解碼器中的任一者可整合為組合式視頻編碼器/解碼器(CODEC)的部分。包括視頻編碼器20及/或視頻解碼器30的設(shè)備可包含集成電路、微處理器，及/或無線通信裝置,諸如,蜂窩電話。
[0053]根據(jù)本發(fā)明的技術(shù)，視頻編碼器20及/或視頻解碼器30可經(jīng)配置尤其以將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中、獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間、根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元，且譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。
[0054]以下定義是關(guān)于實例視頻編碼器20及/或視頻解碼器30而提供，視頻編碼器20及/或視頻解碼器30經(jīng)配置尤其以將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中、獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間、根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元，且譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。
[0055]出于描述一個實例集合的目的，可如下定義術(shù)語“解碼單元”:
[0056]解碼單元:存取單元或存取單元的子集。如果sub_pic_cpb_flag等于O,那么解碼單元為存取單元；否則，解碼單元為存取單元的子集。當(dāng)sub_pic_cpb_flag等于I時,存取單元中的第一解碼單元包括存取單元中的所有非VCL NAL單元，及同一存取單元中的第一 VCL NAL單元，且存取單元中的每一其它解碼單元為并非存取單元中的第一經(jīng)譯碼切片NAL單元的經(jīng)譯碼切片NAL單元。
[0057]出于描述第二實例集合的目的，可如下定義術(shù)語“解碼單元”，其中術(shù)語“子圖片”的額外定義是如“解碼單元”的對應(yīng)實例定義中所使用:
[0058]解碼單元:存取單元或存取單元的子集。如果sub_pic_cpb_flag等于O,那么解碼單元為存取單元；否則，解碼單元為存取單元的子集。當(dāng)sub_pic_cpb_flag等于I時,存取單元中的第一解碼單元包括存取單元中的所有非VCL NAL單元，及同一存取單元中的圖片的第一子圖片，且存取單元中的每一其它解碼單元為并非存取單元中的第一子圖片的子圖片。
[0059]子圖片:在解碼順序方面連續(xù)的經(jīng)譯碼圖片的數(shù)個譯碼塊。
[0060]在根據(jù)上文所提供的第二實例集合的定義中，當(dāng)一個以上子圖片包括在切片中時，可在每一子圖片結(jié)束時應(yīng)用字節(jié)對準(zhǔn)，這與(例如)用于HEVC WD6中的圖像塊的字節(jié)對準(zhǔn)形成對比。此外，每一子圖片(惟經(jīng)譯碼圖片中的第一子圖片除外)的入口點可被發(fā)?目。
[0061]在一些替代例中，當(dāng)位流含有多個可縮放層或視圖時，解碼單元可被定義為層表示或視圖組件。在層表示或視圖組件的第一 VCL NAL單元之前的所有非VCL單元也屬于含有層表示或視圖組件的解碼單元。
[0062]提供實例假設(shè)參考解碼器(HRD)操作、經(jīng)譯碼圖片緩沖器的實例操作、位流到達(dá)的實例計時、解碼單元移除的實例計時、解碼單元的實例解碼、經(jīng)解碼圖片緩沖器的實例操作、圖片從經(jīng)解碼圖片緩沖器的實例移除、實例圖片輸出以及實例當(dāng)前經(jīng)解碼圖片標(biāo)記及存儲的以下描述以說明視頻編碼器20及/或視頻解碼器30的實例，除其它功能外，視頻編碼器20及/或視頻解碼器30還可經(jīng)配置以將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中、獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間、根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元，且譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。在其它實例中，可不同地定義或執(zhí)行所述操作。以此方式，視頻編碼器20及/或視頻解碼器30可經(jīng)配置以根據(jù)下文所描述的HRD操作的各種實例而操作。
[0063]作為一個實例，可如下概括地描述HRD操作:CPB大小(位的數(shù)目)為CpbSize [SchedSelIdx]。用于時間層X的DPB大小(圖片存儲緩沖器的數(shù)目)針對在 O 到 max_temporal_layers_minusl (包括在內(nèi))的范圍內(nèi)的每一 X 為 max_dec_pic_buffering[X]+l。在這個實例中，HRD可操作如下:與根據(jù)指定到達(dá)調(diào)度而流動到CPB中的存取單元相關(guān)聯(lián)的數(shù)據(jù)可由假設(shè)流調(diào)度器(HSS) ( S卩，傳遞調(diào)度器)傳遞。與每一解碼單元相關(guān)聯(lián)的數(shù)據(jù)可通過瞬時解碼進程在CPB移除時間瞬時地移除及解碼。每一經(jīng)解碼圖片可放置在DPB中。在DPB輸出時間或經(jīng)解碼圖片變得不再為幀間預(yù)測參考所需要的時間中的較遲一者，可從DPB移除經(jīng)解碼圖片。
[0064]可用真實值來進行這些實例中的算術(shù)，使得不傳播舍入誤差。舉例來說，恰好在解碼單元的移除之前或之后的CPB中的位的數(shù)目未必為整數(shù)。
[0065]變量t?？杀粚?dǎo)出如下，且可被稱為時鐘計時周期:
[0066]tc = num_units_in_tick + time_scale(C-1)
[0067]可指定以下內(nèi)容以用于表達(dá)在對HEVC的實例附件修改中的約束:
[0068]使存取單元η為按解碼順序的第η存取單元，其中第一存取單元為存取單元O ;
[0069]使圖片η為存取單元η的經(jīng)譯碼圖片或經(jīng)解碼圖片；
[0070]使解碼單元m為按解碼順序的第m解碼單元，其中第一解碼單元為解碼單元O。
[0071]如下描述用于操作經(jīng)譯碼圖片緩沖器(CPB)的一些實例技術(shù)。根據(jù)一些視頻譯碼技術(shù)，可實施CPB操作的各種方法。HEVC WD6關(guān)于CPB操作的章節(jié)中的規(guī)范可由本發(fā)明修改，且可獨立地應(yīng)用于所存在的每一 CPB參數(shù)集合且應(yīng)用于Type I 一致性點及Type II 一致性點兩者。
[0072]如下描述涉及位流到達(dá)的計時的一些實例。HRD可以緩沖周期補充增強信息(SEI)消息中的任一者予以初始化。在初始化之前，CPB可空白。在初始化之后，HRD可不再次通過后續(xù)緩沖周期SEI消息初始化。
[0073]與初始化CPB的緩沖周期SEI消息相關(guān)聯(lián)的存取單元可被稱為存取單元O。每一解碼單元可被稱為解碼單元m，其中編號m識別特定解碼單元。存取單元O中按解碼順序的第一解碼單元可被稱為解碼單元O。m的值針對按解碼順序的每一后續(xù)解碼單元可遞增I。
[0074]解碼單元m的第一位開始進入CPB的時間可被稱為初始到達(dá)時間tai (m)?？扇缦聦?dǎo)出解碼單元的初始到達(dá)時間:
[0075]如果解碼單元為解碼單元0，那么tai (O) = O,
[0076]否則(解碼單元為解碼單元m，其中m > O)，以下內(nèi)容可適用:
[0077]如果cbr_flag[SchedSelIdx]等于I,那么用于解碼單元m的初始到達(dá)時間等于解碼單元m-Ι的最終到達(dá)時間(其在下文被導(dǎo)出)，即，
[0078]tai(m) = taf(m-l)(C_2)
[0079]否則(cbr_flag[SchedSelIdx]等于O),用于解碼單元m的初始到達(dá)時間是由下式導(dǎo)出:
[0080]tai (m) = Max (taf (m_l)，tai, earliest (m))(C_3)
[0081]其中

tai, earliest
(m)被導(dǎo)出如下。
[0082]如果解碼單元m并非后續(xù)緩沖周期的第一解碼單元，那么tai, eartiest (m)可被導(dǎo)出為:
[0083]tai, earliest (m) = tr, n (m)_ (in ? t ? al_cpb_r emo val_de I ay [SchedSelldx] +initial_cpb_removal_delay_offset[SchedSelldx])+90000(C_4)
[0084]其中tr,n(m)為如所指定的解碼單元m離開CPB的名義移除時間，且initial_cpb_removal_delay[SchedSelldx]及 initial_cpb_removal_delay_offset[SchedSelldx]被指定在上一緩沖周期SEI消息中；
[0085]否則(解碼單元m為后續(xù)緩沖周期的第一解碼單元)，tai, —(m)可被導(dǎo)出為:
[0086]tai, earliest (m) = tr, n (m) - (in i t i al_cpb_r emo va l_de I ay [SchedSe 11 dx] + 90000)(C-5)
[0087]其中initial_cpb_removal_delay [SchedSelldx]被指定在與含有解碼單兀 m 的存取單元相關(guān)聯(lián)的緩沖周期SEI消息中。
[0088]用于解碼單元m的最終到達(dá)時間可由下式導(dǎo)出:
[0089]taf (m) = tai (m)+b (m)+BitRate [SchedSelldx](C_6)
[0090]其中b (m)可為解碼單元m的以位為單位的大小，其針對Type I 一致性點而計數(shù)VCL NAL單元及填充物數(shù)據(jù)NAL單元的位或針對Type II —致性點而計數(shù)Type II位流的所有位。
[0091]在一些實例中，可如下約束SchedSelldx、BitRate[SchedSelldx]及CpbSize[SchedSelldx]的值:
[0092]如果用于含有解碼單元m的存取單元的活動序列參數(shù)集合的內(nèi)容與用于上一存取單元的活動序列參數(shù)集合的內(nèi)容不同，那么HSS從提供在用于含有解碼單元m的存取單元的活動序列參數(shù)集合中的SchedSelldx的值當(dāng)中選擇SchedSelldx的值SchedSelIdxl,所述值SchedSelIdxl針對含有解碼單元m的存取單元引起B(yǎng)itRate [SchedSel Idxl]或 CpbSize[SchedSelIdxl]。 BitRate[SchedSelIdxl]或 CpbSize[SchedSelIdxl]的值可不同于針對在使用中用于上一存取單元的SchedSelldx的值SchedSelIdxO的BitRate [SchedSelIdxO]或 CpbSize [SchedSelIdxO]的值；
[0093]否則，HSS繼續(xù)用 SchedSelIdx、BitRate [SchedSelldx]及 CpbSize [SchedSelldx]的先前值而操作。
[0094]當(dāng)HSS選擇不同于上一存取單元的值的BitRate [SchedSelldx]或CpbSize[SchedSelldx]的值時，以下內(nèi)容在一些實例中可適用:
[0095]變量BitRate [SchedSelldx]在時間 tai(m)開始生效
[0096]變量CpbSize [SchedSelldx]開始生效如下:
[0097]如果CpbSize [SchedSelldx]的新值超過舊CPB大小,那么其在時間tai (m)開始生效，
[0098]否則,CpbSize [SchedSelldx]的新值在含有解碼單元m的存取單元的最后解碼單元的CPB移除時間開始生效。
[0099]當(dāng)sub_pic_cpb_flag等于I時，存取單元η的初始CPB到達(dá)時間tai (η)可設(shè)置到存取單元η中的第一解碼單元的初始CPB到達(dá)時間，且存取單元η的最終CPB到達(dá)時間taf(n)可設(shè)置到存取單元η中的最后解碼單元的最終CPB到達(dá)時間。
[0100]如下描述涉及解碼單元移除的計時及解碼單元的解碼的一些實例。當(dāng)解碼單元m為m等于O的解碼單元(初始化HRD的存取單元的第一解碼單元)時，解碼單元離開CPB的名義移除時間可由下式指定:
[0101]tr,n(0) = initial_cpb_removal_delay [SchedSelldx]+90000 (C_7)
[0102]當(dāng)解碼單元m為并不初始化HRD的緩沖周期的第一存取單元的第一解碼單元時，解碼單元離開CPB的名義移除時間可由下式指定:
[0103]tr,n(m) = tr,n(mb)+tc*cpb_removal_delay (m)(C_8)
[0104]其中tr,n(mb)為上一緩沖周期的第一解碼單元的名義移除時間，且cpb_removal_delay (m)為在與含有解碼單元m的存取單元相關(guān)聯(lián)的圖片計時SEI消息中所指定的用于解碼單兀 m 的 cpb_removal_delay [i]的值。
[0105]當(dāng)解碼單元η為緩沖周期的第一解碼單元時，mb可設(shè)置為在解碼單元η的移除時間仁,n(m)等于m。并非緩沖周期的第一解碼單元的解碼單元m的名義移除時間仁,n(m)可由下式給出:
[0106]tr,n(m) = tr,n(mb)+tc*cpb_removal_delay (m)(C_9)
[0107]其中tr,n(mb)為當(dāng)前緩沖周期的第一解碼單元的名義移除時間，且cpb_removal_delay (m)為在與含有解碼單元m的存取單元相關(guān)聯(lián)的圖片計時SEI消息中所指定的用于解碼單兀 m 的 cpb_removal_delay [i]的值。
[0108]可如下指定解碼單元m的移除時間:
[0109]如果low_delay_hrd_flag等于O或1^,n(m) >= taf (m),那么解碼單元η的移除時間可由下式指定:
[0110]tr(m) = tr,n(m)(C-1O)
[0111]否則(low_delay_hrd_flag等于I且tin(m) < U(m)),解碼單元m的移除時間是由下式指定:
[0112]tr(m) = tr,n(m)+tc*Ceil ((taf (m)_tr,n(m))+tc)(C-1l)
[0113]后一狀況指示解碼單元m的大小b(m)如此大以致于其防止在名義移除時間的移除。
[0114]當(dāng)sub_pic_cpb_flag等于I時,存取單元η的名義CPB移除時間tr,n(n)可設(shè)置到存取單元η中的最后解碼單元的正常CPB移除時間，存取單元η的CPB移除時間仁(η)可設(shè)置到存取單元η中的最后解碼單元的CPB移除時間。
[0115]在一些實例中，在解碼單元m的CPB移除時間，所述解碼單元可被瞬時地解碼。
[0116]如下描述經(jīng)解碼圖片緩沖器(DPB)的操作的一些實例。所述經(jīng)解碼圖片緩沖器可含有圖片存儲緩沖器。所述圖片存儲緩沖器中的每一者可含有經(jīng)解碼圖片，所述經(jīng)解碼圖片被標(biāo)記為“用于參考”或經(jīng)保持以供未來輸出。在初始化之前，DPB可空白(DPB充滿度設(shè)置到零)。本發(fā)明的技術(shù)的這些實例的以下步驟可以所列出序列而發(fā)生。
[0117]如下描述圖片從經(jīng)解碼圖片緩沖器(DPB)的移除的一些實例。在一些實例中，在當(dāng)前圖片的解碼之前(但在分析當(dāng)前圖片的第一切片的切片標(biāo)頭之后)圖片從DPB的移除可在存取單元η (含有當(dāng)前圖片)的第一解碼單元的CPB移除時間瞬時地發(fā)生，且可進行如下。
[0118]可調(diào)用如在HEVC WD6的子條款8.3.2中所指定的用于參考圖片集合的解碼進程。如果當(dāng)前圖片為瞬時解碼器刷新(IDR)圖片，那么以下內(nèi)容可適用:
[0119]1.當(dāng)IDR圖片并非經(jīng)解碼的第一 IDR圖片(例如，當(dāng)無先前圖片輸出旗標(biāo)具有不等于I的值時)且從活動序列參數(shù)集合導(dǎo)出的pic_width_in_luma_samples (例如,亮度樣本中的圖片寬度)或 pic_height_in_luma_samples 或 max_dec_pic_buffering 的值分別不同于從針對前一圖片為活動的序列參數(shù)集合導(dǎo)出的pic_width_in_luma_samples或Pic_height_in_luma_sampIes 或 max_dec_pic_buffering 的值時，no_output_of_pr1r_pics_flag可推斷為等于I或由HRD設(shè)置為等于I,而不管no_output_of_pr1r_pics_flag白勺實際值女口?可。才目 t:匕于關(guān)于 pic_width_in_luma_samples 或 pic_height_in_luma_samples的改變的HRD，解碼器實施可更從容地處置圖片或DPB大小改變。
[0120]2.當(dāng)no_output_of_pr1r_pics_flag等于I或設(shè)置為或推斷為等于I時，可使DPB中的所有圖片存儲緩沖器空白而沒有其所含有的圖片的輸出，且DPB充滿度可設(shè)置到
O0
[0121]可從DPB移除DPB中的所有圖片k(對于所述圖片，所有以下條件成立):圖片k被標(biāo)記為“未用于參考”;圖片k具有等于O的PicOutputFlag，或其DPB輸出時間小于或等于當(dāng)前圖片η的第一解碼單元(被表示為解碼單元m)的CPB移除時間；SP，
[0122]t0j dpb (k) < = tr (m)
[0123]當(dāng)從DPB移除圖片時，DPB充滿度可遞減I。
[0124]如下描述圖片輸出的一些實例。以下情形可在存取單元η(含有當(dāng)前圖片)的最后解碼單元(被表示為解碼單元m)的CPB移除時間t Jm)瞬時地發(fā)生。圖片η可在所述圖片的最后解碼單元被解碼之后被視為經(jīng)解碼。
[0125]變量maxPicOrderCnt (對于最大圖片順序計數(shù)(POC))可設(shè)置為等于當(dāng)前圖片及DPB中當(dāng)前被標(biāo)記為“用于短期參考”或具有大于t,(m)的DPB輸出時間的所有圖片的PicOrderCntVal (對于圖片順序計數(shù)(POC)值)值的最大值。變量minPicOrderCnt (對于最小圖片順序計數(shù)(POC))可設(shè)置為等于當(dāng)前圖片及DPB中當(dāng)前被標(biāo)記為“用于短期參考”或具有大于t,(m)的DPB輸出時間的所有圖片的PicOrderCntVal的最小值。以下內(nèi)容可為位流一致性的要求:maxPicOrderCnt-minPicOrderCnt 的值應(yīng)小于 MaxPic0rderCntLsb/2。
[0126]當(dāng)圖片η具有等于I的PicOutputFlag時,其DPB輸出時間t。, dpb(η)可由下式導(dǎo)出:
[0127]t。, dpb(n) = tr (m)+tc*dpb_output_delay (n)(C-12)
[0128]其中dpb_output_delay (n)為在與存取單元n相關(guān)聯(lián)的圖片計時SEI消息中所指定的dpb_output_delay的值?？扇缦轮付ó?dāng)前圖片的輸出:
[0129]如果PicOutputFlag等于I ? t0, dpb (η) = tr (m),那么當(dāng)前圖片被輸出；
[0130]否則，如果PicOutputFlag等于0，那么當(dāng)前圖片未被輸出，但可存儲在DPB中，如下文進一步所指定；
[0131]否則(PicOutputFlag等于I且t。.(n) > (m)),當(dāng)前圖片稍后被輸出且將存儲在DPB中(如下文進一步所指定)，且在時間^dpb(Ii)被輸出，除非被指示不會通過等于I的no_output_of_pr1r_pics_flag的解碼或推斷在I^dpb(Ii)之前的時間被輸出。
[0132]當(dāng)被輸出時，當(dāng)前或選定圖片可使用在活動序列參數(shù)集合中所指定的剪裁矩形予以剪裁，從而基于選定圖片(即，當(dāng)前圖片)來產(chǎn)生經(jīng)剪裁圖片。當(dāng)圖片η為被輸出且并非被輸出的位流的最后圖片的圖片時，(η)的值被定義為:
[0133]Δ t0, dpb (n) = t0, dpb (nn) _t0, dpb (n)(C-13)
[0134]其中nn指示在輸出順序方面跟隨在圖片n之后且具有等于I的PicOutputFlag的圖片。下文進一步提供提高進程及剪裁進程的另外細(xì)節(jié)。
[0135]如下描述涉及當(dāng)前經(jīng)解碼圖片標(biāo)記及存儲的一些實例。以下情形可在存取單元η(含有當(dāng)前圖片)的最后解碼單元的CPB移除時間tjm)瞬時地發(fā)生。當(dāng)前經(jīng)解碼圖片可在DPB中存儲在空白圖片存儲緩沖器中，且DPB充滿度可遞增I。如果當(dāng)前圖片為參考圖片，那么其可被標(biāo)記為“用于參考”，否則，其可被標(biāo)記為“未用于參考”。
[0136]用于CPB行為模式的發(fā)信的以下實例語法及語義是關(guān)于實例視頻編碼器20及/或視頻解碼器30而提供，視頻編碼器20及/或視頻解碼器30經(jīng)配置尤其以將視頻數(shù)據(jù)的一或多個解碼單元存儲在圖片緩沖器中、獲得用于一或多個解碼單元的相應(yīng)緩沖器移除時間、根據(jù)用于解碼單元中的每一者的所獲得緩沖器移除時間而從圖片緩沖器移除解碼單元，且譯碼對應(yīng)于經(jīng)移除解碼單元的視頻數(shù)據(jù)。
[0137]如下描述用于CPB行為模式的發(fā)信的語法及語義的一些實例?？赏ㄟ^添加子圖片CPB旗標(biāo)sub_pic_cpb_flag來改變視頻可用性信息(VUI)參數(shù)的語法,如下表1所示:
[0138]表1
[0139]

【權(quán)利要求】
1.一種譯碼視頻數(shù)據(jù)的方法，所述方法包含: 將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器CPB中； 獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間； 根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元； 確定所述CPB在存取單元級別還是子圖片級別處操作 '及 譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)， 其中，如果所述CPB在存取單元級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元；且 其中，如果所述CPB在子圖片級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元子集。
2.根據(jù)權(quán)利要求1所述的方法，其中確定所述CPB在存取單元級別還是子圖片級別處操作包含: 在子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值O時或在子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值O時確定所述CPB在存取單元級別處操作 '及 在所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值I且所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值I時確定所述CPB在子圖片級別處操作。
3.根據(jù)權(quán)利要求2所述的方法，其進一步包含接收所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的所述值。
4.根據(jù)權(quán)利要求2所述的方法，其進一步包含在未接收到所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的值時針對所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)設(shè)置值O。
5.根據(jù)權(quán)利要求2所述的方法，其進一步包含接收所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)的所述值。
6.根據(jù)權(quán)利要求1所述的方法，其進一步包含: 以連續(xù)解碼順序接收視頻數(shù)據(jù)的所述一或多個解碼單元， 其中將視頻數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中包含以所述連續(xù)解碼順序?qū)⒁曨l數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中。
7.根據(jù)權(quán)利要求1所述的方法，其中獲得用于所述一或多個解碼單元的所述相應(yīng)緩沖器移除時間包含接收指示用于所述解碼單元中的至少一者的所述相應(yīng)緩沖器移除時間的相應(yīng)發(fā)信值。
8.根據(jù)權(quán)利要求7所述的方法，其中指示用于所述解碼單元中的所述至少一者的所述緩沖器移除時間的所述發(fā)信值包含指示由所述解碼單元中的所述至少一者包含的網(wǎng)絡(luò)抽象層NAL單元的數(shù)目的發(fā)信值。
9.根據(jù)權(quán)利要求1所述的方法，其中所述一或多個解碼單元包含相應(yīng)子圖片，所述方法進一步包含接收指示在所述視頻數(shù)據(jù)的較大集合內(nèi)的至少一個子圖片的字節(jié)對準(zhǔn)的發(fā)信值。
10.一種用于譯碼視頻數(shù)據(jù)的裝置，所述裝置包含視頻譯碼器，所述視頻譯碼器經(jīng)配置以: 將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器CPB中； 獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間； 根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元； 確定所述CPB在存取單元級別還是子圖片級別處操作 '及 譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)， 其中，如果所述CPB在存取單元級別處操作，那么為了譯碼所述視頻數(shù)據(jù)，所述視頻譯碼器經(jīng)進一步配置以譯碼包含在所述解碼單元中的存取單元；且 其中，如果所述CPB在子圖片級別處操作，那么為了譯碼所述視頻數(shù)據(jù)，所述視頻譯碼器經(jīng)進一步配置以譯碼包含在所述解碼單元中的存取單元子集。
11.根據(jù)權(quán)利要求10所述的裝置，其中，為了確定所述CPB在存取單元級別還是子圖片級別處操作，所述視頻譯碼器經(jīng)進一步配置以: 在子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值O時或在子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值O時確定所述CPB在存取單元級別處操作 '及 在所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值I且所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值I時確定所述CPB在子圖片級別處操作。
12.根據(jù)權(quán)利要求11所述的裝置，其中所述視頻譯碼器經(jīng)進一步配置以接收所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的所述值。
13.根據(jù)權(quán)利要求11所述的裝置，其中所述視頻譯碼器經(jīng)進一步配置以在未接收到所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的值時針對所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)設(shè)置值O。
14.根據(jù)權(quán)利要求11所述的裝置，其中所述視頻譯碼器經(jīng)進一步配置以接收所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)的所述值。
15.根據(jù)權(quán)利要求10所述的裝置，其中所述視頻譯碼器經(jīng)進一步配置以: 以連續(xù)解碼順序接收視頻數(shù)據(jù)的所述一或多個解碼單元， 其中將視頻數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中包含以所述連續(xù)解碼順序?qū)⒁曨l數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中。
16.根據(jù)權(quán)利要求10所述的裝置，其中獲得用于所述一或多個解碼單元的所述相應(yīng)緩沖器移除時間包含接收指示用于所述解碼單元中的至少一者的所述相應(yīng)緩沖器移除時間的相應(yīng)發(fā)信值。
17.根據(jù)權(quán)利要求16所述的裝置，其中指示用于所述解碼單元中的所述至少一者的所述緩沖器移除時間的所述發(fā)信值包含指示由所述解碼單元中的所述至少一者包含的網(wǎng)絡(luò)抽象層NAL單元的數(shù)目的發(fā)信值。
18.根據(jù)權(quán)利要求10所述的裝置，其中所述一或多個解碼單元包含相應(yīng)子圖片，且所述視頻譯碼器經(jīng)進一步配置以接收指示在所述視頻數(shù)據(jù)的較大集合內(nèi)的至少一個子圖片的字節(jié)對準(zhǔn)的發(fā)信值。
19.根據(jù)權(quán)利要求10所述的裝置，其中所述裝置包含以下各者中的至少一者: 一或多個集成電路； 一或多個微處理器 '及 無線通信裝置，其包括所述視頻譯碼器。
20.一種用于譯碼視頻數(shù)據(jù)的設(shè)備，所述設(shè)備包含: 用于將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器CPB中的裝置； 用于獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間的裝置； 用于根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元的裝置； 用于確定所述CPB在存取單元級別還是子圖片級別處操作的裝置 '及 用于譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)的裝置， 其中，如果所述CPB在存取單元級別處操作，那么所述用于譯碼所述視頻數(shù)據(jù)的裝置包含用于譯碼包含在所述解碼單元中的存取單元的裝置；且 其中，如果所述CPB在子圖片級別處操作，那么所述用于譯碼所述視頻數(shù)據(jù)的裝置包含用于譯碼包含在所述解碼單元中的存取單元子集的裝置。
21.根據(jù)權(quán)利要求20所述的設(shè)備，其中所述用于確定所述CPB在存取單元級別還是子圖片級別處操作的裝置包含: 用于在子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值O時或在子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值O時確定所述CPB在存取單元級別處操作的裝置 '及 用于在所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值I且所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值I時確定所述CPB在子圖片級別處操作的裝置。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其進一步包含用于接收所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的所述值的裝置。
23.根據(jù)權(quán)利要求21所述的設(shè)備，其進一步包含用于在未接收到所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的值時針對所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)設(shè)置值O的裝置。
24.根據(jù)權(quán)利要求21所述的設(shè)備，其進一步包含用于接收所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)的所述值的裝置。
25.根據(jù)權(quán)利要求20所述的設(shè)備，其進一步包含: 用于以連續(xù)解碼順序接收視頻數(shù)據(jù)的所述一或多個解碼單元的裝置， 其中所述用于將視頻數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中的裝置包含用于以所述連續(xù)解碼順序?qū)⒁曨l數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中的裝置。
26.根據(jù)權(quán)利要求20所述的設(shè)備，其中所述用于獲得用于所述一或多個解碼單元的所述相應(yīng)緩沖器移除時間的裝置包含用于接收指示用于所述解碼單元中的至少一者的所述相應(yīng)緩沖器移除時間的相應(yīng)發(fā)信值的裝置。
27.根據(jù)權(quán)利要求26所述的設(shè)備，其中指示用于所述解碼單元中的所述至少一者的所述緩沖器移除時間的所述發(fā)信值包含指示由所述解碼單元中的所述至少一者包含的網(wǎng)絡(luò)抽象層NAL單元的數(shù)目的發(fā)信值。
28.根據(jù)權(quán)利要求20所述的設(shè)備，其中所述一或多個解碼單元包含相應(yīng)子圖片，所述設(shè)備進一步包含用于接收指示在所述視頻數(shù)據(jù)的較大集合內(nèi)的至少一個子圖片的字節(jié)對準(zhǔn)的發(fā)信值的裝置。
29.根據(jù)權(quán)利要求20所述的設(shè)備，其中所述設(shè)備包含以下各者中的至少一者: 一或多個集成電路； 一或多個微處理器 '及 無線通信裝置，其包括視頻譯碼裝置。
30.一種計算機程序產(chǎn)品，其包含計算機可讀存儲媒體，所述計算機可讀存儲媒體包含存儲在其上的指令，所述指令在執(zhí)行時使處理器: 將視頻數(shù)據(jù)的一或多個解碼單元存儲在經(jīng)譯碼圖片緩沖器CPB中； 獲得用于所述一或多個解碼單元的相應(yīng)緩沖器移除時間； 根據(jù)用于所述解碼單元中的每一者的所述所獲得緩沖器移除時間而從所述CPB移除所述解碼單元； 確定所述CPB在存取單元級別還是子圖片級別處操作 '及 譯碼對應(yīng)于所述經(jīng)移除解碼單元的視頻數(shù)據(jù)， 其中，如果所述CPB在存取單元級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元；且 其中，如果所述CPB在子圖片級別處操作，那么譯碼所述視頻數(shù)據(jù)包含譯碼包含在所述解碼單元中的存取單元子集。
31.根據(jù)權(quán)利要求30所述的計算機程序產(chǎn)品，其中確定所述CPB在存取單元級別還是子圖片級別處操作包含: 在子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值O時或在子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值O時確定所述CPB在存取單元級別處操作；及 在所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)具有值I且所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)具有值I時確定所述CPB在子圖片級別處操作。
32.根據(jù)權(quán)利要求31所述的計算機程序產(chǎn)品，其中所述指令進一步使所述處理器接收所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的所述值。
33.根據(jù)權(quán)利要求31所述的計算機程序產(chǎn)品，其中所述指令進一步使所述處理器在未接收到所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)的值時針對所述子圖片經(jīng)譯碼圖片緩沖器優(yōu)選旗標(biāo)設(shè)置值O。
34.根據(jù)權(quán)利要求31所述的計算機程序產(chǎn)品，其中所述指令進一步使所述處理器接收所述子圖片經(jīng)譯碼圖片緩沖器參數(shù)存在旗標(biāo)的所述值。
35.根據(jù)權(quán)利要求30所述的計算機程序產(chǎn)品，其中所述指令進一步使所述處理器: 以連續(xù)解碼順序接收視頻數(shù)據(jù)的所述一或多個解碼單元， 其中將視頻數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中包含以所述連續(xù)解碼順序?qū)⒁曨l數(shù)據(jù)的所述一或多個解碼單元存儲在所述CPB中。
36.根據(jù)權(quán)利要求30所述的計算機程序產(chǎn)品，其中獲得用于所述一或多個解碼單元的所述相應(yīng)緩沖器移除時間包含接收指示用于所述解碼單元中的至少一者的所述相應(yīng)緩沖器移除時間的相應(yīng)發(fā)信值。
37.根據(jù)權(quán)利要求36所述的計算機程序產(chǎn)品，其中指示用于所述解碼單元中的所述至少一者的所述緩沖器移除時間的所述發(fā)信值包含指示由所述解碼單元中的所述至少一者包含的網(wǎng)絡(luò)抽象層NAL單元的數(shù)目的發(fā)信值。
38.根據(jù)權(quán)利要求30所述的計算機程序產(chǎn)品，其中所述一或多個解碼單元包含相應(yīng)子圖片，方法進一步包含接收指示在所述視頻數(shù)據(jù)的較大集合內(nèi)的至少一個子圖片的字節(jié)對準(zhǔn)的發(fā)信值。
【文檔編號】H04N19/70GK104205849SQ201380018546
【公開日】2014年12月10日 申請日期:2013年2月26日 優(yōu)先權(quán)日:2012年4月4日
【發(fā)明者】王益魁, 陳穎 申請人:高通股份有限公司