在視頻譯碼中針對高效率視頻譯碼(hevc)擴展對多個層的低復(fù)雜性支持的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明一般來說涉及視頻譯碼及壓縮且，明確地說，涉及可擴縮式視頻譯碼 (SVC)〇
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，所述裝置包含數(shù)字電視、數(shù)字直播系 統(tǒng)、無線廣播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、平板計算機、電子書閱讀 器、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或 衛(wèi)星無線電電話、所謂的"智能型電話"、視頻電話會議裝置、視頻流裝置及其類似者。數(shù) 字視頻裝置實施視頻譯碼技術(shù)，例如，在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/ MPEG-4第10部分"高級視頻譯碼（AVC) "定義的標準、目前正在開發(fā)的高效率視頻譯碼 (HEVC)標準及此類標準的擴展中所描述的視頻譯碼技術(shù)。視頻裝置可通過實施此類視頻譯 碼技術(shù)來發(fā)射、接收、編碼、解碼及/或存儲數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測及/或時間（圖片間）預(yù)測以減少或去除 視頻序列中固有的冗余。對于基于塊的視頻譯碼，可將視頻切片（例如，視頻幀或視頻幀的 一部分）分割成視頻塊，其還可被稱作樹塊、譯碼單元（CU)及/或譯碼節(jié)點。使用關(guān)于同一 圖片中的相鄰塊中的參考樣本的空間預(yù)測來編碼圖片的經(jīng)幀內(nèi)譯碼（I)切片中的視頻塊。 圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用關(guān)于同一圖片中的相鄰塊中的參考樣本 的空間預(yù)測或關(guān)于其它參考圖片中的參考樣本的時間預(yù)測。圖片可被稱作幀，且參考圖片 可被稱作參考幀。
[0004] 空間預(yù)測或時間預(yù)測導(dǎo)致譯碼用于塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊 與預(yù)測性塊之間的像素差。根據(jù)指向形成預(yù)測性塊的參考樣本的塊的運動向量及指示經(jīng)譯 碼塊與預(yù)測性塊之間的差異的殘余數(shù)據(jù)來編碼經(jīng)幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式及殘余數(shù) 據(jù)來編碼經(jīng)幀內(nèi)譯碼塊。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生 殘余變換系數(shù)，可將殘余變換系數(shù)量化。經(jīng)量化的變換系數(shù)最初可布置成二維陣列，且經(jīng)掃 描以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實現(xiàn)甚至更多壓縮。

【發(fā)明內(nèi)容】

[0005] 根據(jù)一些實施例，一種經(jīng)配置以譯碼視頻信息的設(shè)備包含處理器及存儲器。所述 存儲器經(jīng)配置以存儲與第一層及第二層相關(guān)聯(lián)的視頻信息。處理器與存儲器通信。處理器 經(jīng)配置以確定所述第一層及所述第二層中的至少一者是否為默認層，且在所述處理器確定 所述第一層及所述第二層均不是所述默認層時，至少部分地限制層間預(yù)測。
[0006] 在一些實施例中，默認層為基礎(chǔ)層。在其它實施例中，默認層為層0。在其它實施 例中，默認層為增強層。在一些實施例中，可存在一個以上默認層。
[0007] 在一些實施例中，處理器經(jīng)進一步配置以接收與視頻信息相關(guān)聯(lián)的第一旗標，且 在所述第一旗標指示層間預(yù)測將受到限制時，確定所述第一層及所述第二中的至少一者 是否為默認層。舉例來說，可在以下各者中的一或多者中傳信所述第一旗標：視頻參數(shù)集 (VPS)、序列參數(shù)集（SPS)、圖片參數(shù)集（PPS)、切片標頭及補充增強信息（SEI)消息。
[0008] 在一些實施例中，處理器經(jīng)進一步配置以在所述處理器確定所述第一層及所述第 二層均不是默認層時，及在與第一層相關(guān)聯(lián)的視頻信息及與第二層相關(guān)聯(lián)的視頻信息在其 構(gòu)造中均不是僅使用受約束幀內(nèi)預(yù)測（CIP)時，限制層間預(yù)測。在一些實施例中，處理器經(jīng) 進一步配置以在處理器確定第一層及第二層均不是默認層時，限制運動信息或殘余信息的 層間預(yù)測中的至少一者。
[0009] 在一些實施例中，所述處理器經(jīng)進一步配置以確定對于與所述第一層相關(guān)聯(lián)的所 述視頻信息是否允許層間預(yù)測；及確定對于與所述第二層相關(guān)聯(lián)的所述視頻信息是否部分 地允許層間預(yù)測，使得運動補償不與所述第二層視頻信息一起使用。舉例來說，處理器可經(jīng) 進一步配置以使用第一層視頻信息來預(yù)測與當(dāng)前視頻塊相關(guān)聯(lián)的紋理信息。另外，處理器 可經(jīng)進一步配置以使用第二層視頻信息來預(yù)測與當(dāng)前視頻塊相關(guān)聯(lián)的運動信息及殘余信 息中的一或多者。在一些實施例中，設(shè)備包括編碼器。在一些實施例中，設(shè)備包括解碼器。 另外，設(shè)備可包括以下各者中的至少一者：數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個人數(shù) 字助理（PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游 戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話及包括存儲器及處理器的視頻電話會 議裝置。
[0010] 在另一實施例中，一種譯碼視頻信息的方法包含：接收與第一層及第二層相關(guān)聯(lián) 的視頻信息；確定第一層及第二層中的至少一者是否為默認層；及在第一層及第二層均不 是默認層時，至少部分地限制層間預(yù)測。
[0011] 在另一實施例中，一種視頻譯碼設(shè)備包含：用于接收與第一層及第二層相關(guān)聯(lián)的 視頻信息的裝置；用于確定第一層及第二層中的至少一者是否為默認層的裝置；及用于在 第一層及第二層均不是默認層時至少部分地限制層間預(yù)測的裝置。
[0012] 在另一實施例中，一種非暫時性計算機可讀媒體具有存儲于其上的代碼，所述代 碼在經(jīng)執(zhí)行時致使設(shè)備進行以下操作：接收與第一層及第二層相關(guān)聯(lián)的視頻信息；確定第 一層及第二層中的至少一者是否為默認層；及在第一層及第二層均不是默認層時，至少部 分地限制層間預(yù)測。
【附圖說明】
[0013] 圖1為說明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的實例視頻編碼及解碼系 統(tǒng)的框圖。
[0014] 圖2為說明可實施根據(jù)本發(fā)明中所描述的方面的技術(shù)的視頻編碼器的實例的框 圖。
[0015] 圖3為說明可實施根據(jù)本發(fā)明中所描述的方面的技術(shù)的視頻解碼器的實例的框 圖。
[0016] 圖4為說明根據(jù)本發(fā)明的方面的三個不同維度上的可擴縮性的框圖。
[0017] 圖5為說明根據(jù)本發(fā)明的方面的可擴縮式視頻譯碼（SVC)位流的實例結(jié)構(gòu)的框 圖。
[0018] 圖6為說明根據(jù)本發(fā)明的方面的位流中的實例SVC存取單元的框圖。
[0019] 圖7為說明層間預(yù)測限制及裕度的概念圖。
[0020] 圖8為說明SVC中的多層中的塊的實例的概念圖。
[0021] 圖9說明根據(jù)實施例的用于譯碼視頻數(shù)據(jù)的實例方法。
[0022] 圖10說明根據(jù)另一實施例的用于譯碼視頻數(shù)據(jù)的方法。
[0023] 圖11為實例視頻譯碼器的功能框圖。
【具體實施方式】
[0024] 本發(fā)明中所描述的技術(shù)一般來說涉及可擴縮式視頻譯碼（SVC)及多視圖/3D視頻 譯碼。舉例來說，所述技術(shù)可涉及高效率視頻譯碼（HEVC)可擴縮式視頻譯碼（SVC)擴展，且 供高效率視頻譯碼（HEVC)可擴縮式視頻譯碼（SVC)擴展使用或在高效率視頻譯碼（HEVC) 可擴縮式視頻譯碼（SVC)擴展內(nèi)使用。在SVC中，可存在多個視頻信息層。處于最底部層 級或最低層級的層可充當(dāng)基礎(chǔ)層（BL)或參考層（RL)，且處于最頂部的層可充當(dāng)經(jīng)增強層 (EL)。"經(jīng)增強層"可被視為與"增強層"同義，且可互換地使用這些術(shù)語。BL與EL之間的 層可充當(dāng)EL或BL中的任一者或兩者。舉例來說，一層可為用于在所述層下方的層（例如， 基礎(chǔ)層或任何介入增強層）的EL，且還可充當(dāng)用于在所述層上方的增強層的BL。基礎(chǔ)層與 頂部層（或最高層）中間的每一層可用作用于較高層的層間預(yù)測的參考，且可將較低層用 作用于層間預(yù)測的參考。
[0025] 僅出于說明的目的，通過僅包含兩個層（例如，例如基礎(chǔ)層等較低層級層，及例如 經(jīng)增強層等較高層級層）的實例來描述本發(fā)明中所描述的技術(shù)。應(yīng)理解，本發(fā)明中描述的 實例還可擴展到具有多個基礎(chǔ)或參考層及增強層的實例。另外，為易于解釋，以下揭示內(nèi)容 主要使用術(shù)語"幀"或"塊"。然而，這些術(shù)語并不意味著為限制性的。舉例來說，下文所描 述的技術(shù)可供例如塊（例如，CU、PU、TU、宏塊等）、切片、圖片等不同視頻單元使用。
[0026] HEVC的SVC擴展提供多回路方法，使得對于每一層，經(jīng)重新構(gòu)造的像素始終可用， 而無關(guān)于預(yù)測模式。另外，可通過將運動補償應(yīng)用于預(yù)測來預(yù)測每一層。通過此方法，當(dāng)存 在兩個以上層時，譯碼（例如，解碼、編碼）復(fù)雜性高，這是由于對于每個層執(zhí)行運動補償。
[0027] 在一些實施例中，提供既支持兩個以上層、又提供低譯碼（例如，解碼、編碼）復(fù)雜 性的系統(tǒng)及方法。本文中所描述的技術(shù)還基于任何其它譯碼框架（例如，H.264/AVC)應(yīng)用 于HEVC的多視圖或3DV擴展及類似可擴縮式多視圖及/或3DV譯碼情境（由于層還可被 視為視圖或視圖的紋理或深度部分）。
[0028] 為了在具有兩個以上層的視頻信息的情況下降低多回路方法的譯碼復(fù)雜性，可限 制用于層間預(yù)測的運動補償回路的數(shù)目。舉例來說，視頻譯碼器或解碼器可經(jīng)配置以防止 在某些情形下發(fā)生的層間預(yù)測。在一些實施例中，視頻譯碼器或解碼器可經(jīng)配置以確定可 用于多個層中的任一者中的圖片的層間預(yù)測的經(jīng)運動補償?shù)膶拥淖畲髷?shù)目。視頻譯碼器或 解碼器可基于經(jīng)運動補償?shù)膶拥乃_定的最大數(shù)目限制當(dāng)前層中的圖片的層間預(yù)測。舉例 來說，在一個實施例中，視頻譯碼器或解碼器可接收第一旗標，所述第一旗標指示可用于層 間預(yù)測的經(jīng)運動補償?shù)膶拥淖畲髷?shù)目。在一些實施例中，多個層中的任一者中的圖片中的 每一者及當(dāng)前層中的圖片可包括存取單元中的圖片。視頻譯碼器或解碼器可對于存取單元 中的每一圖片確定經(jīng)運動補償?shù)膶拥淖畲髷?shù)目且基于經(jīng)運動補償?shù)膶拥淖畲髷?shù)目限制層 間預(yù)測。
[0029] 視頻譯碼標準
[0030] 本文中所描述的某些實施例涉及針對在高級視頻編碼解碼器的上下文中的可擴 縮式視頻譯碼（例如，高效率視頻譯碼（HEVC))的層間預(yù)測。更具體來說，本發(fā)明涉及在 HEVC的可擴縮式視頻譯碼（SVC)擴展中的層間預(yù)測的改進的執(zhí)行的系統(tǒng)及方法。在以下描 述中，描述涉及某些實施例的H. 264/AVC技術(shù)；還論述HEVC標準及有關(guān)技術(shù)。雖然本文中在 HEVC及/或H. 264標準的上下文中描述某些實施例，但所屬領(lǐng)域的技術(shù)人員可了解，本文中 所揭示的系統(tǒng)及方法可適用于任何合適的視頻譯碼標準。舉例來說，本文中所揭示的實施 例可適用于以下標準中的一或多者：ITU-T H. 261、ISO/IEC MPEG-I Visual、ITU-T H. 262 或 ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual 及 TU-T H. 264(還被稱 為ISO/IEC MPEG-4AVC)(包含其可擴縮式視頻譯碼（SVC)及多視圖視頻譯碼（MVC)擴展）。
[0031] 可擴縮式視頻譯碼（SVC)可用以提供質(zhì)量（還被稱作信噪比（SNR))可擴縮性、 空間可擴縮性及/或時間可擴縮性。舉例來說，在一個實施例中，參考層（例如，基礎(chǔ)層） 包含足以按第一質(zhì)量等級顯示視頻的視頻信息，且增強層包含相對于參考層的額外視頻信 息，使得參考層及增強層一起包含足以按高于第一等級的第二質(zhì)量等級（例如，較低噪聲、 較大分辨率、更好幀速率等）顯示視頻的視頻信息。經(jīng)增強層可具有不同于基礎(chǔ)層的空間 分辨率。舉例來說，EL與BL之間的空間縱橫比可為1.0、1.5、2.0或其它不同比。換句話 說，EL的空間縱橫比可等于1. 0、1. 5或2. 0乘以BL的空間縱橫比。在一些實例中，EL的比 例因數(shù)可大于BL的比例因數(shù)。舉例來說，EL中的圖片的大小可大于BL中的圖片的大小。 以此方式，EL的空間分辨率大于BL的空間分辨率可為有可能的，但并非限制。
[0032] 在H. 264的SVC擴展中，可使用針對SVC提供的不同層來執(zhí)行當(dāng)前塊的預(yù)測。此 預(yù)測可被稱作層間預(yù)測。層間預(yù)測方法可用于SVC中以便減少層間冗余。層間預(yù)測的一些 實例可包含層間幀內(nèi)預(yù)測、層間運動預(yù)測、層間模式預(yù)測及層間殘余預(yù)測。層間幀內(nèi)預(yù)測使 用基礎(chǔ)層中的經(jīng)并置塊的重新構(gòu)造預(yù)測增強層中的當(dāng)前塊。層間模式預(yù)測使用基礎(chǔ)層的運 動預(yù)測增強層中的運動。層間模式預(yù)測基于基礎(chǔ)層中的模式預(yù)測增強層中的模式。層間殘 余預(yù)測使用基礎(chǔ)層的殘余來預(yù)測增強層的殘余。
[0033] 下文參看隨附圖式更充分地描述新穎系統(tǒng)、設(shè)備及方法的各種方面。然而，本發(fā)明 可以許多不同形式來體現(xiàn)，且不應(yīng)被解釋為限于貫穿本發(fā)明呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 確切地說，提供這些方面，以使得本發(fā)明將為透徹的且完整的，且將本發(fā)明的范圍充分地傳 達給所屬領(lǐng)域的技術(shù)人員?；诒疚闹械慕淌?，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍 希望涵蓋本文中所揭示的新穎系統(tǒng)、設(shè)備及方法的任何方面，不管其是獨立實施還是與本 發(fā)明的任何其它方面相組合而實施。舉例來說，可使用本文中所闡述的任何數(shù)目個方面來