在視頻譯碼中的低延遲緩沖模型的制作方法
【專利說明】
[0001] 相關(guān)申請案
[0002] 本申請案主張2012年12月19日申請的美國臨時(shí)申請案第61/739, 632號(hào)及2012 年12月21日申請的美國臨時(shí)申請案第61/745, 423號(hào)的權(quán)利，所述兩個(gè)臨時(shí)申請案的全部 內(nèi)容是以引用方式并入本文中。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及視頻譯碼，且更明確地說，涉及用于在視頻譯碼過程中的低延遲緩沖 的技術(shù)。
【背景技術(shù)】
[0004] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播系 統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理（PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀 器、數(shù)字相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩或衛(wèi) 星無線電話、所謂"智能電話"、視頻電話會(huì)議裝置、視頻流式處理裝置，及其類似者。數(shù)字視 頻裝置實(shí)施視頻壓縮技術(shù)，諸如，由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第 10部分的高級(jí)視頻譯碼（AVC)定義的標(biāo)準(zhǔn)、目前在開發(fā)中的高效率視頻譯碼（HEVC)標(biāo)準(zhǔn)及 這些標(biāo)準(zhǔn)的擴(kuò)展中描述的視頻壓縮技術(shù)。視頻裝置可通過實(shí)施這些視頻壓縮技術(shù)而較有效 率地發(fā)射、接收、編碼、解碼及/或存儲(chǔ)數(shù)字視頻信息。
[0005] 視頻壓縮技術(shù)執(zhí)行空間（圖片內(nèi)）預(yù)測及/或時(shí)間（圖片間）預(yù)測以縮減或移除 為視頻序列所固有的冗余。對于基于塊的視頻譯碼，可將視頻切片（即，視頻幀或視頻幀的 部分）分割成視頻塊，視頻塊也可被稱作樹狀塊、譯碼單元（CU)及/或譯碼節(jié)點(diǎn)。圖片的 經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊是使用關(guān)于同一圖片中的相鄰塊中的參考樣本的空間預(yù) 測而編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用關(guān)于同一圖片中的相鄰塊中 的參考樣本的空間預(yù)測，或關(guān)于其它參考圖片中的參考樣本的時(shí)間預(yù)測。圖片可被稱作幀， 且參考圖片可被稱作參考幀。
[0006] 空間預(yù)測或時(shí)間預(yù)測利用預(yù)測性塊。殘差數(shù)據(jù)表示原始待譯碼塊與預(yù)測性塊之間 的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運(yùn)動(dòng)矢量及指示經(jīng)譯碼 塊與預(yù)測性塊之間的差的殘差數(shù)據(jù)而編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及殘差數(shù)據(jù) 而編碼。出于進(jìn)一步壓縮起見，可將殘差數(shù)據(jù)從像素域變換到變換域，從而引起殘差變換系 數(shù)，殘差變換系數(shù)接著可被量化?？蓲呙枳畛跻远S陣列而布置的經(jīng)量化變換系數(shù)以便產(chǎn) 生變換系數(shù)的一維矢量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)甚至更多的壓縮。

【發(fā)明內(nèi)容】

[0007] 大體上，本發(fā)明描述用于視頻譯碼的技術(shù)，且更明確地說，描述用于在視頻譯碼過 程中的低延遲緩沖的技術(shù)。在一或多個(gè)實(shí)例中，本發(fā)明提議用于發(fā)信經(jīng)解碼圖片緩沖器 (DPB)輸出延遲以在視頻解碼器正在子圖片級(jí)別處操作時(shí)予以使用以便改進(jìn)視頻緩沖器延 遲的技術(shù)。
[0008] 在本發(fā)明的一個(gè)實(shí)例中，一種解碼視頻的方法包括：接收用于經(jīng)解碼圖片的第一 經(jīng)解碼圖片緩沖器（DPB)輸出延遲及第二DPB輸出延遲；在用于視頻解碼器的假設(shè)參考解 碼器（HRD)設(shè)置指示在圖片級(jí)別處的操作的狀況下針對所述經(jīng)解碼圖片而使用所述第一 DPB輸出延遲來確定第一 DPB輸出時(shí)間；及在用于所述視頻解碼器的所述HRD設(shè)置指示在 子圖片級(jí)別處的操作的狀況下針對所述經(jīng)解碼圖片而使用所述第二DPB輸出延遲來確定 第二DPB輸出時(shí)間。
[0009] 在本發(fā)明的另一實(shí)例中，一種編碼視頻的方法包括：在用于視頻解碼器的HRD設(shè) 置指示在圖片級(jí)別處的操作的狀況下使用第一 DPB輸出延遲來確定第一 DPB輸出時(shí)間；在 用于所述視頻解碼器的所述HRD設(shè)置指示在子圖片級(jí)別處的操作的狀況下使用第二DPB輸 出延遲來確定第二DPB輸出時(shí)間；及發(fā)信所述第一經(jīng)解碼圖片緩沖器（DPB)輸出延遲及所 述第二DPB輸出延遲。
[0010] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置以解碼視頻數(shù)據(jù)的設(shè)備包括視頻解碼器，所 述視頻解碼器經(jīng)配置以：接收用于經(jīng)解碼圖片的第一 DPB輸出延遲及第二DPB輸出延遲； 在用于視頻解碼器的HRD設(shè)置指示在圖片級(jí)別處的操作的狀況下針對所述經(jīng)解碼圖片而 使用所述第一 DPB輸出延遲來確定第一 DPB輸出時(shí)間；及在用于所述視頻解碼器的所述 HRD設(shè)置指示在子圖片級(jí)別處的操作的狀況下針對所述經(jīng)解碼圖片而使用所述第二DPB輸 出延遲來確定第二DPB輸出時(shí)間。
[0011] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置以編碼視頻數(shù)據(jù)的設(shè)備包括視頻編碼器，所 述視頻編碼器經(jīng)配置以：在用于視頻解碼器的HRD設(shè)置指示在圖片級(jí)別處的操作的狀況下 使用第一 DPB輸出延遲來確定第一 DPB輸出時(shí)間；在用于所述視頻解碼器的所述HRD設(shè)置 指示在子圖片級(jí)別處的操作的狀況下使用第二DPB輸出延遲來確定第二DPB輸出時(shí)間；及 發(fā)信所述第一 DPB輸出延遲及所述第二DPB輸出延遲。
[0012] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置以解碼視頻數(shù)據(jù)的設(shè)備包括：用于接收用于 經(jīng)解碼圖片的第一 DPB輸出延遲及第二DPB輸出延遲的裝置；用于在用于視頻解碼器的 HRD設(shè)置指示在圖片級(jí)別處的操作的狀況下針對所述經(jīng)解碼圖片而使用所述第一 DPB輸出 延遲來確定第一 DPB輸出時(shí)間的裝置；及用于在用于所述視頻解碼器的所述HRD設(shè)置指示 在子圖片級(jí)別處的操作的狀況下針對所述經(jīng)解碼圖片而使用所述第二DPB輸出延遲來確 定第二DPB輸出時(shí)間的裝置。
[0013] 在本發(fā)明的另一實(shí)例中，一種經(jīng)配置以編碼視頻數(shù)據(jù)的設(shè)備包括：用于在用于視 頻解碼器的HRD設(shè)置指示在圖片級(jí)別處的操作的狀況下使用第一 DPB輸出延遲來確定第一 DPB輸出時(shí)間的裝置；用于在用于所述視頻解碼器的所述HRD設(shè)置指示在子圖片級(jí)別處的 操作的狀況下使用第二DPB輸出延遲來確定第二DPB輸出時(shí)間的裝置；用于發(fā)信所述第一 DPB輸出延遲及所述第二DPB輸出延遲的裝置。
[0014] 在另一實(shí)例中，本發(fā)明揭示一種計(jì)算機(jī)可讀存儲(chǔ)媒體，所述計(jì)算機(jī)可讀存儲(chǔ)媒體 存儲(chǔ)指令，所述指令在執(zhí)行時(shí)致使經(jīng)配置以解碼視頻數(shù)據(jù)的裝置的一或多個(gè)處理器：接收 用于經(jīng)解碼圖片的第一 DPB輸出延遲及第二DPB輸出延遲；在用于視頻解碼器的HRD設(shè)置 指示在圖片級(jí)別處的操作的狀況下針對所述經(jīng)解碼圖片而使用所述第一 DPB輸出延遲來 確定第一 DPB輸出時(shí)間；及在用于所述視頻解碼器的所述HRD設(shè)置指示在子圖片級(jí)別處的 操作的狀況下針對所述經(jīng)解碼圖片而使用所述第二DPB輸出延遲來確定第二DPB輸出時(shí) 間。
[0015] 在另一實(shí)例中，本發(fā)明揭示一種計(jì)算機(jī)可讀存儲(chǔ)媒體，所述計(jì)算機(jī)可讀存儲(chǔ)媒體 存儲(chǔ)指令，所述指令在執(zhí)行時(shí)致使經(jīng)配置以編碼視頻數(shù)據(jù)的裝置的一或多個(gè)處理器：在用 于視頻解碼器的HRD設(shè)置指示在圖片級(jí)別處的操作的狀況下使用第一 DPB輸出延遲來確定 第一 DPB輸出時(shí)間；在用于所述視頻解碼器的所述HRD設(shè)置指示在子圖片級(jí)別處的操作的 狀況下使用第二DPB輸出延遲來確定第二DPB輸出時(shí)間；及發(fā)信所述第一 DPB輸出延遲及 所述第二DPB輸出延遲。
[0016] 在附圖及以下描述中闡述一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)點(diǎn)將從所述 描述及所述附圖且從權(quán)利要求書顯而易見。
【附圖說明】
[0017] 圖1為說明可利用本發(fā)明所描述的技術(shù)的實(shí)例視頻編碼及解碼系統(tǒng)的框圖。
[0018] 圖2為說明用于假設(shè)參考解碼器（HRD)的緩沖器模型的框圖。
[0019] 圖3為說明可實(shí)施本發(fā)明所描述的技術(shù)的實(shí)例視頻編碼器的框圖。
[0020] 圖4為說明可實(shí)施本發(fā)明所描述的技術(shù)的實(shí)例視頻解碼器的框圖。
[0021] 圖5為展示根據(jù)本發(fā)明的技術(shù)的實(shí)例編碼方法的流程圖。
[0022] 圖6為展示根據(jù)本發(fā)明的技術(shù)的實(shí)例解碼方法的流程圖。
【具體實(shí)施方式】
[0023] 本發(fā)明描述用以經(jīng)由一般的基于子圖片的假設(shè)參考解碼器（HRD)模型而以能共 同操作的方式來實(shí)現(xiàn)縮減的編碼解碼器（譯碼器/解碼器）延遲的各種方法及技術(shù)，所述 模型包含基于子圖片的經(jīng)譯碼圖片緩沖器（CPB)操作及基于子圖片時(shí)序的經(jīng)解碼圖片緩 沖器（DPB)操作兩者。
[0024] 用以最小化CPB及/或DPB延遲時(shí)間的當(dāng)前方法展現(xiàn)以下缺點(diǎn)。經(jīng)解碼圖片的輸 出時(shí)間等于最后解碼單元（即，用于存取單元級(jí)別操作的存取單元自身）的解碼時(shí)間（即， CPB移除時(shí)間）加經(jīng)發(fā)信DPB輸出延遲。因此，通常使用用以縮減所述延遲的兩種方法。一 種方法是較早地使解碼時(shí)間移位。另一方法是縮減經(jīng)發(fā)信DPB輸出延遲（相對于CPB移除 時(shí)間）的值。然而，用于超低延遲緩沖模型的現(xiàn)有解決方案僅涉及基于子圖片的CPB操作， 且僅利用第一方法以縮減延遲。
[0025] 鑒于這些缺點(diǎn)，本發(fā)明提議用于經(jīng)由發(fā)信及使用相對于CPB移除時(shí)間的經(jīng)發(fā)信 DPB輸出延遲的縮減值而進(jìn)一步縮減解碼延遲