用于視頻譯碼的經(jīng)解碼圖片緩沖器操作的制作方法
【專利說明】
[0001] 本申請(qǐng)案主張2013年7月15日申請(qǐng)的第61/846, 576號(hào)美國(guó)臨時(shí)專利申請(qǐng)案的 權(quán)益，其整個(gè)內(nèi)容W引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002] 本發(fā)明設(shè)及用于視頻譯碼的技術(shù)，且更特定來說設(shè)及用于多層視頻譯碼的技術(shù)。
【背景技術(shù)】
[0003] 數(shù)字視頻能力可并入到廣泛多種裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播 系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播 放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無線電電話、視頻電話會(huì)議裝置及其 類似者。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由MPEG-2、MPEG-4、口U-TH. 263、口U-T 比264/MPEG-4第10部分、高級(jí)視頻譯碼（AVC)、高效率視頻譯碼（肥VC)標(biāo)準(zhǔn)及此類標(biāo)準(zhǔn)的 擴(kuò)展定義的標(biāo)準(zhǔn)中所描述的技術(shù)，W便更有效地發(fā)射、接收并存儲(chǔ)數(shù)字視頻信息。
[0004] 前述標(biāo)準(zhǔn)中的一些的擴(kuò)展（包含H. 264/AVC)提供用于多層視頻譯碼的技術(shù)。多 層視頻譯碼技術(shù)可包含可縮放視頻譯碼技術(shù)、多視圖視頻譯碼技術(shù)及多視圖加上深度視頻 譯碼技術(shù)。為了產(chǎn)生立體或S維（"3D")視頻，舉例來說，已提出用于AVC的多視圖譯碼 技術(shù)W及可縮放視頻譯碼（SVC)標(biāo)準(zhǔn)（其為H. 264/AVC的可縮放擴(kuò)展）及多視圖視頻譯碼 (MVC)標(biāo)準(zhǔn)（其已變成H. 264/AVC的多視圖擴(kuò)展）。

【發(fā)明內(nèi)容】

[0005] -般來說，本發(fā)明描述用于多層視頻譯碼的技術(shù)。具體來說，本發(fā)明設(shè)及用于多層 視頻譯碼的經(jīng)解碼圖片緩沖器值PB)管理。
[0006] 在本發(fā)明的一個(gè)實(shí)例中，一種解碼視頻數(shù)據(jù)的方法包括將經(jīng)解碼圖片緩沖器 值PB)分割成多個(gè)子DPB，及接收用于多層視頻譯碼過程的一或多個(gè)操作點(diǎn)的所述多個(gè)子 DPB的子DPB大小的至少一個(gè)指示。
[0007] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置W解碼視頻數(shù)據(jù)的設(shè)備包括經(jīng)配置W存儲(chǔ)視 頻數(shù)據(jù)的DPB及視頻解碼器，其經(jīng)配置W將所述DPB分割成多個(gè)子DPB，及接收用于多層視 頻譯碼過程的一或多個(gè)操作點(diǎn)的所述多個(gè)子DPB的子DPB大小的至少一個(gè)指示。
[0008] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置W解碼視頻數(shù)據(jù)的設(shè)備包括用于將DPB分割 成多個(gè)子DPB的裝置，及用于接收用于多層視頻譯碼過程的一或多個(gè)操作點(diǎn)的所述多個(gè)子 DPB的子DPB大小的至少一個(gè)指示的裝置。
[0009] 在另一實(shí)例中，本發(fā)明描述一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在經(jīng) 執(zhí)行時(shí)致使經(jīng)配置W解碼視頻數(shù)據(jù)的裝置的一或多個(gè)處理器將DPB分割成多個(gè)子DPB，及 接收用于多層視頻譯碼過程的一或多個(gè)操作點(diǎn)的所述多個(gè)子DPB的子DPB大小的至少一個(gè) 指示。
[0010] 在本發(fā)明的另一實(shí)例中，一種編碼視頻數(shù)據(jù)的方法包括重建構(gòu)多個(gè)不同層類型的 多個(gè)圖片；將所述多個(gè)圖片存儲(chǔ)于DPB中，其中所述Dro被分割成多個(gè)子DPB;及產(chǎn)生用于 多層視頻譯碼過程的一或多個(gè)操作點(diǎn)的所述多個(gè)子DPB的子DPB大小的至少一個(gè)指示。
[0011] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置W編碼視頻數(shù)據(jù)的設(shè)備包括經(jīng)配置W存儲(chǔ)視 頻數(shù)據(jù)的DBP及視頻編碼器，其經(jīng)配置W重建構(gòu)多個(gè)不同層類型的多個(gè)圖片；將所述多個(gè) 圖片存儲(chǔ)于所述DPB中，其中所述DPB被分割成多個(gè)子DPB;及產(chǎn)生用于多層視頻譯碼過程 的一或多個(gè)操作點(diǎn)的所述多個(gè)子DPB的子DPB大小的至少一個(gè)指示。
[0012] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置W編碼視頻數(shù)據(jù)的設(shè)備包括用于重建構(gòu)多個(gè) 不同層類型的多個(gè)圖片的裝置；用于將所述多個(gè)圖片存儲(chǔ)于DPB中的裝置，其中所述DPB 被分割成多個(gè)子DPB;及用于產(chǎn)生用于多層視頻譯碼過程的一或多個(gè)操作點(diǎn)的所述多個(gè)子 DPB的子DPB大小的至少一個(gè)指示的裝置。
[0013] 在另一實(shí)例中，本發(fā)明描述一種存儲(chǔ)指令的計(jì)算機(jī)可讀媒體，所述指令在經(jīng)執(zhí)行 時(shí)致使經(jīng)配置W編碼視頻數(shù)據(jù)的裝置的一或多個(gè)處理器重建構(gòu)多個(gè)不同層類型的多個(gè)圖 片；將所述多個(gè)層圖片存儲(chǔ)于DPB中，其中所述DPB被分割成多個(gè)子DPB;及產(chǎn)生用于多層 視頻譯碼過程的一或多個(gè)操作點(diǎn)的所述多個(gè)子DPB的子DPB大小的至少一個(gè)指示。
[0014] 附圖及下文描述中闡述一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)勢(shì)將從所述描 述及圖式W及權(quán)利要求書而顯而易見。
【附圖說明】
[0015] 圖1為說明可利用本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼及解碼系統(tǒng)的框圖。
[0016] 圖2為說明實(shí)例多視圖解碼次序的概念圖。
[0017] 圖3為說明用于多視圖譯碼的實(shí)例預(yù)測(cè)結(jié)構(gòu)的概念圖。
[001引圖4為說明實(shí)例可縮放視頻譯碼層的概念圖。
[0019] 圖5為展示根據(jù)本發(fā)明的實(shí)例的實(shí)例DPB的概念圖。
[0020] 圖6為說明可實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼器的框圖。
[0021] 圖7為說明可實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻解碼器的框圖。
[0022] 圖8為展示根據(jù)本發(fā)明的技術(shù)的實(shí)例編碼方法的流程圖。
[0023] 圖9為展示根據(jù)本發(fā)明的技術(shù)的實(shí)例解碼方法的流程圖。
【具體實(shí)施方式】
[0024] -般來說，本發(fā)明描述用于在多層視頻譯碼中管理經(jīng)解碼圖片緩沖器值PB)的技 術(shù)。具體來說，本發(fā)明描述用于管理DPB的子單元（也被稱為子DPB)的各種技術(shù)。如將在 下文更詳細(xì)地描述，在本發(fā)明的不同實(shí)例中，DBP可被分割成多個(gè)子DPB，且每一子DPB可經(jīng) 配置W保存一種類型的經(jīng)解碼視頻數(shù)據(jù)層的圖片。
[0025] 在本發(fā)明的上下文中，層可為可縮放視頻譯碼過程中的基礎(chǔ)層或一或多個(gè)增強(qiáng) 層。實(shí)例可縮放視頻譯碼過程包含H. 264/SVC(可縮放視頻譯碼）及高效率視頻譯碼（肥VC) 標(biāo)準(zhǔn)的可縮放擴(kuò)展（例如，可縮放肥VC(SHVC))。另外，層可指多視圖或3D視頻譯碼中的一 或多個(gè)紋理視圖。另外，3D視頻譯碼中的深度視圖也可被視為層。作為另一實(shí)例，層可對(duì)應(yīng) 于包含紋理視圖分量及深度視圖分量?jī)烧叩膯我灰晥D。實(shí)例多視圖譯碼過程包含H. 264/ MVC(多視圖譯碼）及肥VC標(biāo)準(zhǔn)的多視圖擴(kuò)展（例如，多視圖肥VC(MV-肥VC))。
[0026] 因此，術(shù)語(yǔ)"層"在本發(fā)明中一般用W在可縮放視頻譯碼的意義上指基礎(chǔ)及/或增 強(qiáng)層，或在3D及多視圖視頻譯碼的意義上用W指紋理視圖及/或深度視圖。因此，術(shù)語(yǔ)多 層視頻譯碼一般是指可縮放視頻譯碼技術(shù)、多視圖視頻譯碼技術(shù)及3D視頻譯碼技術(shù)，包含 多視圖加上深度譯碼。本發(fā)明的技術(shù)可適用于任何此類視頻譯碼情境，包含肥VC及/或 比264/AVC的多視圖擴(kuò)展、3D視頻擴(kuò)展及可縮放擴(kuò)展。
[0027] 下文所描述的技術(shù)可應(yīng)用于基于高級(jí)編解碼器的可縮放、多視圖及3D視頻譯 碼技術(shù)，包含譯碼具有深度圖的圖片的兩個(gè)或兩個(gè)W上視圖。視頻譯碼標(biāo)準(zhǔn)包含口U-T 比 26UIS0/IECMPEG-lVisual、ITU-T比 262 或IS0/IECMPEG-2Visual、ITU-TH. 263、IS0/ IECMPEG-4Visual及mJ-TH. 264(也被稱為ISO/IECMPEG-4AVC)，包含其可縮放視頻譯碼 (SVC)及多視圖視頻譯碼（MVC)擴(kuò)展。另外，已由ITU-T視頻譯碼專家組（VCEG)及IS0/IEC 動(dòng)畫專家組（MPEG)的視頻譯碼聯(lián)合合作小組（JCT-VC)開發(fā)新視頻譯碼標(biāo)準(zhǔn)，亦即，高效率 視頻譯碼（肥VC)。肥VC標(biāo)準(zhǔn)描述于口U-TH. 265 (序列H:視聽及多媒體系統(tǒng)，視聽服務(wù)的 基礎(chǔ)結(jié)構(gòu)一一移動(dòng)視頻譯碼，"高效率視頻譯碼"，2013年4月）中（在下文中稱"肥VC")。
[0028] 已提出對(duì)肥VC的各種擴(kuò)展。一個(gè)此類擴(kuò)展為描述于"高效率視頻譯碼（肥VC) 范圍擴(kuò)展文本規(guī)范：草案4" (JCTVC-N1005_vl，2013年4月（下文中稱"JCTVC-N1005")) 中的肥VC范圍擴(kuò)展。標(biāo)題為"高效率視頻譯碼（肥VC)可縮放擴(kuò)展草案3"的可縮放 肥VC(SHVC)標(biāo)準(zhǔn)的最近工作草案（WD)(mJ-TSG16WP3及IS0/IECJTC1/SC29/WG11 的視頻譯碼聯(lián)合合作小組（JCT-VC)，第14次會(huì)議：奧地利維也納，2013年7月25日至8 月2 曰，且在下文中被稱作甜VCWD3)可自http://phenix.it-sudparis.eu/ict/doc enduser/do州ments/14Yienna/wRll/'TCTYC-N1008-v3.zip巧得。對(duì)肥VC的多視圖擴(kuò) 展（亦即，MV-肥VC)也由JCT-3V開發(fā)。MV-肥VC的一個(gè)工作草案（在下文中稱WD4)可 自http://phenix.it-sudparis.eu/ict2/docenduser/documents/4Incheon/wRlI/ TCT3V-D1004-V3.ZiD巧得。標(biāo)題為"MV-HEVC草案文本8"的MV-HEVC的最新工作草案 (ITU-TSG16WP3及IS0/IECJTC1/SC29/WG11的3D視頻譯碼擴(kuò)展聯(lián)合合作小組，第8次 會(huì)議：西班牙己倫西亞，2014年3月29日至4月4日）可自111:1口://地6]1；[^;.;[1：-311化日1'王3. eu/jc1:3v/doc_end_use;r/do州ments/8_Valencia/wgll/JCT3V-冊(cè)002-vl.zip獲得。
[0029] 圖1為說明可利用本發(fā)明中描述的用于多層視頻譯碼中的經(jīng)解碼圖片緩沖器管 理的技術(shù)的實(shí)例視頻編碼及解碼系統(tǒng)10的框圖。如圖1中所展示，系統(tǒng)10包含源裝置12， 其產(chǎn)生在稍后時(shí)間待由目的地裝置14解碼的經(jīng)編碼視頻數(shù)據(jù)。源裝置12及目的地裝置14 可包括廣泛范圍的裝置中的任一者，包含桌上型計(jì)算機(jī)、筆記型（即，膝上型）計(jì)算機(jī)、平板 計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī)（例如，所謂的"智能"電話）、所謂的"智能"平板、電視機(jī)、相 機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、視頻流式傳輸裝置或其類似者。在一些情 況下，可裝備源裝置12及目的地裝置14W用于無線通信。
[0030]目的地裝置14可經(jīng)由鏈路16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16可包括能 夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任何類型的媒體或裝置。在一個(gè) 實(shí)例中，鏈路16可包括使得源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝 置14的通信媒體?？筛鶕?jù)通信標(biāo)準(zhǔn)（例如，無線通信協(xié)議）調(diào)制經(jīng)編碼視頻數(shù)據(jù)，并將其 發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻（R巧頻譜或一 或多個(gè)物理發(fā)射線。通信媒體可形成分組網(wǎng)絡(luò)（例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因 特網(wǎng)）的部分。通信媒體可包含路由器、交換器、基站或任何其它可用于促進(jìn)從源裝置12 到目的地裝置14的通信的設(shè)備。
[0031] 替代性地，可將經(jīng)編碼數(shù)據(jù)從輸出接口 22輸出到存儲(chǔ)裝置34。類似地，可由輸入 接口從存儲(chǔ)裝置34接入經(jīng)編碼數(shù)據(jù)。存儲(chǔ)裝置34可包含多種分布式或本地接入的數(shù)據(jù)存 儲(chǔ)媒體中的任一者，例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲(chǔ)器、易失性或非易失 性存儲(chǔ)器或任何其它用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的合適數(shù)字存儲(chǔ)媒體。在另一實(shí)例中，存儲(chǔ) 裝置34可對(duì)應(yīng)于可保存由源裝置12產(chǎn)生的經(jīng)編碼視頻的文件服務(wù)器或另一中間存儲(chǔ)裝 置。目的地裝置14可從存儲(chǔ)裝置34經(jīng)由流式傳輸或下載來接入所存儲(chǔ)的視頻數(shù)據(jù)。文件 服務(wù)器可為能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)并將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類 型服務(wù)器。實(shí)例文件服務(wù)器包含萬(wàn)維網(wǎng)服務(wù)器（例如，用于網(wǎng)站）、FTP服務(wù)器、網(wǎng)絡(luò)附接存 儲(chǔ)（NA巧裝置或本地磁盤驅(qū)動(dòng)器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接（包含因特網(wǎng) 連接）來接入經(jīng)編碼視頻數(shù)據(jù)。此連接可包含適于接入存儲(chǔ)于文件服務(wù)器上的經(jīng)編碼視頻 數(shù)據(jù)的無線信道（例如，Wi-Fi連接）、有線連接（例如，D化、電纜調(diào)制解調(diào)器等）或兩者的 組合。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置34的發(fā)射可為流式傳輸發(fā)射、下載發(fā)射或兩者的組合。
[0032] 用于多層視頻解碼中的經(jīng)解碼圖片緩沖器管理的本發(fā)明技術(shù)未必限于無線應(yīng)用 或設(shè)定。所述技術(shù)可應(yīng)用于視頻譯碼W支持多種多媒體應(yīng)用中的任一者，例如空中電視廣 播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、流式視頻發(fā)射（例如，經(jīng)由因特網(wǎng)）、編碼數(shù)字視頻W存 儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上、解碼存儲(chǔ)于數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻或其它應(yīng)用。在一些實(shí)例中， 系統(tǒng)10可經(jīng)配置W支持單向或雙向視頻發(fā)射，W支持例如視頻流式傳輸、視頻重放、視頻 廣播及/或視頻電話的應(yīng)用。
[0033] 在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20及輸出接口 22。在一 些情況下，輸出接口 22可包含調(diào)制器/解調(diào)器（調(diào)制解調(diào)器）及/或發(fā)射器。在源裝置 12中，視頻源18可包含例如視頻俘獲裝置（例如，攝像機(jī)）、含有先前所俘獲視頻的視頻存 檔、用于從視頻內(nèi)容提供者接收視頻的視頻饋入接口及/或用于產(chǎn)生計(jì)算機(jī)圖形數(shù)據(jù)作為 源視頻的計(jì)算機(jī)圖形系統(tǒng)，或此類源的組合的源。作為一個(gè)實(shí)例，如果視頻源18為攝像機(jī)， 則源裝置12及目的地裝置14可形成所謂的相機(jī)電話或視頻電話。然而，本發(fā)明中所描述 的技術(shù)一般來說可適用于視頻譯碼，且可應(yīng)用于無線及/或有線應(yīng)用。
[0034] 可由視頻編碼器20編碼所俘獲、預(yù)俘獲或計(jì)算機(jī)產(chǎn)生的視頻?？山?jīng)由源裝置12 的輸出接口 22將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。還可（或替代性地）將經(jīng)編 碼視頻數(shù)據(jù)存儲(chǔ)到存儲(chǔ)裝置34上W供稍后由目的地裝置14或其它裝置接入W用于解碼及 /或重放。
[0035]目的地裝置14包含輸入接口 28、視頻解碼器30及顯示裝置32。在一些情況下， 輸入接口 28可包含接收器及/或調(diào)制解調(diào)器。目的地裝置14的輸入接口 28經(jīng)由鏈路16 接收經(jīng)編碼視頻數(shù)據(jù)。經(jīng)由鏈路16傳達(dá)或在存儲(chǔ)裝置34上提供的經(jīng)編碼視頻數(shù)據(jù)可包含 由視頻編碼器20所產(chǎn)生的多種語(yǔ)法元素W供由例如視頻解碼器30的視頻解碼器在解碼視 頻數(shù)據(jù)時(shí)使用。此類語(yǔ)法元素可與在通信媒體上發(fā)射、存儲(chǔ)于存儲(chǔ)媒體上或存儲(chǔ)文件服務(wù) 器的經(jīng)編碼視頻數(shù)據(jù)包含在一起。
[0036] 顯示裝置32可與目的地裝置14集成或在所述目的地裝置外部。在一些實(shí)例中， 目的地裝置14可包含集成顯示裝置，且還經(jīng)配置W與外部顯示裝置介接。在其它實(shí)例中， 目的地裝置14可為顯示裝置。一般來說，顯示裝置32將經(jīng)解碼視頻數(shù)據(jù)顯示給用戶，且 可包括多種顯示裝置中的任一者，例如液晶顯示器化CD)、等離子顯示器、有機(jī)發(fā)光二極管 (OLED)顯示器或另一類型的顯示裝置。
[0037] 視頻編碼器20及視頻解碼器30可根據(jù)例如高效率視頻譯碼（肥VC)標(biāo)準(zhǔn)的視頻 壓縮標(biāo)準(zhǔn)操作，且可符合肥VC測(cè)試模型（HM)。具體來說，在一些實(shí)例中，視頻編碼器20及 視頻解碼器可根據(jù)支持可縮放、多視圖及/或多視圖加上深度視頻譯碼的肥VC的擴(kuò)展操 作。在其它實(shí)例中，視頻編碼器20及視頻解碼器30可根據(jù)其它專有或行業(yè)標(biāo)準(zhǔn)來操作，例 如口U-TH. 264標(biāo)準(zhǔn)（替代性地被稱為MPEG-4第10部分）、高級(jí)視頻譯碼（AVC)或此類標(biāo) 準(zhǔn)的擴(kuò)展（包含H.264/SVC)。然而，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻壓縮標(biāo) 準(zhǔn)的其它實(shí)例包含MPEG-2及口U-TH. 263。具體來說，根據(jù)本發(fā)明的技術(shù)，視頻編碼器20 及視頻解碼器30可根據(jù)能夠可縮放（例如，SHVC)及/或多視圖編碼（例如，MV-HEVC)的 視頻譯碼標(biāo)準(zhǔn)操作。
[0038] 盡管圖1中未展示，但在一些方面中，視頻編碼器20及視頻解碼器30可各自與音 頻編碼器及解碼器集成，且可包含適當(dāng)多路復(fù)用器-多路分用器單元或其它硬件及軟件W 處置共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻及視頻兩者的編碼。在一些實(shí)例中，如果適用，貝U 多路復(fù)用器-多路分用器單元可符合ITUH. 223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù)報(bào)協(xié)議 OJD巧的其它協(xié)議。
[0039] 視頻編碼器20及視頻解碼器30各自可實(shí)施為多種合適的編碼器電路中的任一 者，例如一或多個(gè)微處理器、數(shù)字信號(hào)處理器值SP)、專用集成電路（ASIC)、現(xiàn)場(chǎng)可編程口 陣列（FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當(dāng)部分地用軟件實(shí)施所述技術(shù)時(shí)， 裝置可將用于所述軟件的指令存儲(chǔ)于合適的非暫時(shí)性計(jì)算機(jī)可讀媒體中且使用一或多個(gè) 處理器用硬件執(zhí)行所述指令W執(zhí)行本發(fā)明的技術(shù)。視頻編碼器20及視頻解碼器30中的每 一者可包含在一或多個(gè)編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為相應(yīng) 裝置中的組合編碼器/解碼器（編解碼器）的部分。
[0040] 本發(fā)明的W下章節(jié)將提供肥VC標(biāo)準(zhǔn)的背景。肥VC標(biāo)準(zhǔn)化努力是基于被稱作肥VC 測(cè)試模型（HM)的視頻譯碼裝置的演進(jìn)模型。歷假設(shè)視頻譯碼裝置根據(jù)（例如HTU-T 比264/AVC相對(duì)于現(xiàn)有裝置的若干額外能力。舉例來說，雖然H. 264提供九種帖內(nèi)預(yù)測(cè)編碼 模式，但歷可提供多達(dá)S十S種帖內(nèi)預(yù)測(cè)編碼模式。
[0041] 一般來說，HM的工作模型描述視頻帖或圖片可劃分成包含明度及色度樣本兩者的 樹塊（也被稱為譯碼樹塊（CTB)或最大譯碼單元化CU))序列。樹塊具有與H. 264標(biāo)準(zhǔn)的 宏塊類似的目的。切片包含按譯碼次序的若干連續(xù)樹塊。視頻帖或圖片可被分割成一或多 個(gè)切片。每一樹塊可根據(jù)四叉樹分裂成譯碼單元（CU)。舉例來說，作為四叉樹的根節(jié)點(diǎn)的 樹塊可分裂成四個(gè)子節(jié)點(diǎn)，且每一子節(jié)點(diǎn)又可為父節(jié)點(diǎn)并分裂成另外四個(gè)子節(jié)點(diǎn)。最后未 經(jīng)分裂子節(jié)點(diǎn)（作為四叉樹的葉節(jié)點(diǎn)）包括譯碼節(jié)點(diǎn)，即，經(jīng)譯碼視頻塊。與經(jīng)譯碼位流相 關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)可定義樹塊可分裂的最大次數(shù)，且還可定義譯碼節(jié)點(diǎn)的最小大小。
[0042] CU包含譯碼節(jié)點(diǎn)及與所述譯碼節(jié)點(diǎn)相關(guān)聯(lián)的預(yù)測(cè)單元（PU)及變換單元（TU)。CU 的大小一般對(duì)應(yīng)于譯碼節(jié)點(diǎn)的大小，且通常必須為正方形形狀。CU的大小范圍可從8X8像 素到具有最大64X64像素或更大的樹塊的大小。每一CU可含有一或多個(gè)PU及一或多個(gè) TU。舉例來說，與CU相關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)可描述將CU分割成一或多個(gè)PU。分割模式可在CU 被跳過或經(jīng)直接模式編碼、經(jīng)帖內(nèi)預(yù)測(cè)模式編碼或經(jīng)帖間預(yù)測(cè)模式編碼之間有所不同。PU可被分割成非正方形形狀。舉例來說，與CU相關(guān)聯(lián)的語(yǔ)法數(shù)據(jù)還可描述將CU根據(jù)四叉樹 分割成一或多個(gè)TU。TU可為正方形或非正方形形狀。
[0043] 肥VC標(biāo)準(zhǔn)允許根據(jù)TU的變換，TU可針對(duì)不同CU而有所不同。TU的大小通常是基 于針對(duì)經(jīng)分割LCU所定義的給定CU內(nèi)的PU的大小而確定，但情況可能并不總是如此。TU 通常與PU大小相同或小于PU。在一些實(shí)例中，對(duì)應(yīng)于CU的殘余樣本可使用被稱為"殘余 四叉樹"（RQT)的四叉樹結(jié)構(gòu)細(xì)分成較小單元。RQT的葉節(jié)點(diǎn)可被稱為變換單元（TU)?？?變換與TU相關(guān)聯(lián)的像素差值W產(chǎn)生可經(jīng)量化的變換系數(shù)。
[0044] -般來說，PU包含與預(yù)測(cè)過程相關(guān)的數(shù)據(jù)。舉例來說，當(dāng)PU經(jīng)帖內(nèi)模式編碼時(shí)， PU可包含描述PU的帖內(nèi)預(yù)測(cè)模式的數(shù)據(jù)。作為另一實(shí)例，當(dāng)PU經(jīng)帖間模式編碼時(shí)，PU可 包含定義PU的運(yùn)動(dòng)向量的數(shù)據(jù)。定義PU的運(yùn)動(dòng)向量的數(shù)據(jù)可描述（例如）運(yùn)動(dòng)向量的水 平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率（例如，四分之一像素精度或八分之一像 素精度）、運(yùn)動(dòng)向量指向的參考圖片及/或可由預(yù)測(cè)方向指示的運(yùn)動(dòng)向量的參考圖片列表 (例如，列表0、列表1或列表C)。
[0045] 一般來說，TU用于變換及量化過程。具有一或多個(gè)PU的給定CU還可包含一或多 個(gè)變換單元（TU)。在預(yù)測(cè)之后，視頻編碼器20可根據(jù)PU從由譯碼節(jié)點(diǎn)所識(shí)別的視頻塊計(jì) 算殘余值。接著更新譯碼節(jié)點(diǎn)W參考?xì)堄嘀刀窃家曨l塊。殘余值包括像素差值，所述 像素差值可使用TU中所指定的變換及其它變換信息被變換為變換系數(shù)、經(jīng)量化且經(jīng)掃描 W產(chǎn)生串行化變換系數(shù)W用于賭譯碼?？稍俅胃伦g碼節(jié)點(diǎn)W參考運(yùn)些串行化變換系數(shù)。 本發(fā)明通常使用術(shù)語(yǔ)"視頻塊"來指CU的譯碼節(jié)點(diǎn)。在一些特定情況下，本發(fā)明還可使用 術(shù)語(yǔ)"視頻塊"來指包含譯碼節(jié)點(diǎn)W及PU及TU的樹塊，即，CTB、LCU或CU。
[0046] 視頻序列通常包含一系列視頻帖或圖片。圖片群組（GO巧一般包括一系列一或多 個(gè)視頻圖片。GOP可包含GOP的標(biāo)頭、圖片中的一或多者的標(biāo)頭或其它地方中的語(yǔ)法數(shù)據(jù)， 其描述GOP中包含的圖片數(shù)目。圖片的每一切片可包含描述用于相應(yīng)切片的編碼模式的切 片語(yǔ)法數(shù)據(jù)。視頻編碼器20通常對(duì)個(gè)別視頻切片內(nèi)的視頻塊進(jìn)行操作W便編碼視頻數(shù)據(jù)。 視頻塊可對(duì)應(yīng)于CU內(nèi)的譯碼節(jié)點(diǎn)。視頻塊可具有固定或變化的大小，且根據(jù)指定譯碼標(biāo)準(zhǔn) 可在大小上有所不同。
[0047] 作為實(shí)例，歷支持各種PU大小的預(yù)測(cè)。假設(shè)特定CU的大小為2NX2N，則歷支 持2NX2N或NXN的PU大小的帖內(nèi)預(yù)，及2NX2N、2NXN、NX2N或NXN的對(duì)稱PU大小 的帖間預(yù)測(cè)。HM還支持用于2NXnU、2NXnD、nLX2N及nRX2N的PU大小的帖間預(yù)測(cè)的不 對(duì)稱分割。在不對(duì)稱分割中，不分割CU的一個(gè)方向，而將另一方向分割成25%及75%。CU 的對(duì)應(yīng)于25%分區(qū)的部分由"n"繼之W"上方"、"下方"、"左側(cè)"或"右側(cè)"的指示來指示。 因此，舉例來說，"2NXnU"是指經(jīng)水平分割的2NX2NCU,其中頂部為2NX0. 5NPU且底部 為 2NX1. 5NPUo
[004引在本發(fā)明中，"NXN"與"N乘N"可互換使用來指在垂直及水平尺寸方面的視頻塊 的像素尺寸，例如，16X16像素或16乘16像素。一般來說，16X16塊將在垂直方向上具有 16個(gè)像素（y= 16)，且在水平方向上具有16個(gè)像素（X= 16)。同樣，NXN塊一般在垂直 方向上具有N個(gè)像素，且在水平方向上具有N個(gè)像素，其中N表示非負(fù)整數(shù)值。塊中的像素 可布置成行及列。此外，塊未必需要在水平方向與垂直方向上具有相同數(shù)目個(gè)像素。舉例 來說