用于基于子層參考預測相依性的層間rps導出的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及可縮放視頻譯碼（SVC)的領(lǐng)域。更確切地說，其涉及基于HEVC的SVC (HEVC-SVC)和 HEVC擴展。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可以并入到多種多樣的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線 廣播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù) 碼相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無 線電電話(所謂的"智能電話"）、視頻電話會議裝置、視頻流式傳輸裝置及其類似者。數(shù)字視 頻裝置實施視頻壓縮技術(shù)，例如如下所述的各種視頻譯碼標準中描述的那些技術(shù)(例如，高 效率視頻譯碼(HEVC))。視頻裝置可以通過實施此類視頻壓縮技術(shù)來更有效率地發(fā)射、接 收、編碼、解碼及/或存儲數(shù)字視頻信息。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的系統(tǒng)、方法及裝置各自具有若干創(chuàng)新方面，其中沒有單個方面單獨負責 本文所揭示的合乎需要的屬性。附圖及以下描述中陳述一或多個實例的細節(jié)。其它特征、目 標和優(yōu)點將從所述描述和圖式以及權(quán)利要求書而顯而易見。
[0004] 本發(fā)明中描述的標的物的一個方面提供一種視頻編碼器，其包括存儲器，所述存 儲器經(jīng)配置以存儲序列中的一或多個當前圖片的一或多個直接參考層圖片，其中所述一或 多個當前圖片與當前層相關(guān)聯(lián)，所述當前層與所述一或多個直接參考層相關(guān)聯(lián)。所述視頻 編碼器進一步包括與所述存儲器單元通信的處理器。所述存儲器單元經(jīng)配置以設(shè)定與當前 圖片相關(guān)聯(lián)的指示以指示不受限制在層間預測中使用的所述當前圖片的全部所述一或多 個直接參考層圖片是否包含在與所述當前圖片相關(guān)聯(lián)的層間參考圖片集中。
[0005] 本發(fā)明中描述的標的物的另一方面提供一種對視頻進行編碼的方法。所述方法包 括存儲序列中的一或多個當前圖片的一或多個直接參考層圖片，其中所述一或多個當前圖 片與當前層相關(guān)聯(lián)，所述當前層與所述一或多個直接參考層相關(guān)聯(lián)。所述方法進一步包括 設(shè)定與當前圖片相關(guān)聯(lián)的指示以指示不受限制在層間預測中使用的所述當前圖片的全部 所述一或多個直接參考層圖片是否包含在與所述當前圖片相關(guān)聯(lián)的層間參考圖片集中。
[0006] 本發(fā)明中描述的標的物的另一方面提供一種視頻解碼器，其包括存儲器單元。所 述存儲器單元經(jīng)配置以存儲一或多個直接參考層圖片，其中所述一或多個直接參考層圖片 中的每一者與一或多個直接參考層的相應直接參考層相關(guān)聯(lián)，其中所述一或多個直接參考 層與當前層相關(guān)聯(lián)，且其中所述當前層與當前圖片相關(guān)聯(lián)。所述視頻解碼器進一步包括與 所述存儲器通信的處理器。所述處理器經(jīng)配置以基于指示確定不受限制在層間預測中使用 的全部所述一或多個直接參考層圖片是否包含在與所述當前圖片相關(guān)聯(lián)的層間參考圖片 集中。
[0007] 本發(fā)明中描述的標的物的另一方面提供一種用于對視頻進行解碼的方法。所述方 法包括存儲一或多個直接參考層圖片，其中所述一或多個直接參考層圖片中的每一者與一 或多個直接參考層中的相應直接參考層相關(guān)聯(lián)，其中所述一或多個直接參考層與當前層相 關(guān)聯(lián)，且其中所述當前層與當前圖片相關(guān)聯(lián)。所述方法進一步包括基于指示確定不受限制 在層間預測中使用的全部所述一或多個直接參考層圖片是否包含在與所述當前圖片相關(guān) 聯(lián)的層間參考圖片集中。
【附圖說明】
[0008] 圖IA是說明可利用本發(fā)明中描述的層間參考圖片集(RPS)導出技術(shù)的實例視頻編 碼和解碼系統(tǒng)的框圖。
[0009] 圖IB是說明可利用本發(fā)明中描述的層間參考圖片集導出技術(shù)的另一實例視頻編 碼和解碼系統(tǒng)的框圖。
[0010] 圖2是說明可實施本發(fā)明中描述的層間參考圖片集導出技術(shù)的實例視頻編碼器的 框圖。
[0011]圖3是說明可實施本發(fā)明中描述的層間參考圖片集導出技術(shù)的實例視頻解碼器的 框圖。
[0012] 圖4說明可經(jīng)處理以指示層間參考圖片集是否包含不受限制在層間預測中使用的 全部直接參考層圖片的視頻信息的實例。
[0013] 圖5說明用于視頻編碼器的處理器指示層間參考圖片集是否包含不受限制在層間 預測中使用的全部直接參考層圖片的一個方法的流程圖。
[0014] 圖6說明可經(jīng)處理以確定來自一或多個直接參考層圖片的有效參考層圖片的數(shù)目 的視頻信息的實例。
[0015] 圖7說明用于視頻解碼器的處理器確定來自一或多個直接參考層圖片的有效參考 層圖片的數(shù)目的一個方法的流程圖。
【具體實施方式】
[0016] 下文結(jié)合附圖闡述的詳細描述既定作為對本發(fā)明的示范性實施例的描述，且并不 希望表示可以實踐本發(fā)明的僅有實施例。貫穿此描述所使用的術(shù)語"示范性"意指"充當實 例、例子或說明"，且未必應解釋為比其它示范性實施例優(yōu)選或有利?！揪唧w實施方式】出于提 供對本發(fā)明的示范性實施例的透徹理解而包含特定細節(jié)。在一些情況下，以框圖形式展示 一些裝置。
[0017]雖然出于解釋的簡單的目的，將方法展示并描述為一連串動作，但應理解并了解， 所述方法不受動作的次序限制，因為根據(jù)一或多個方面，一些動作可以不同次序發(fā)生及/或 與來自本文中展示及描述的其它動作同時發(fā)生。例如，所屬領(lǐng)域的技術(shù)人員將理解并且了 解，所述方法可以替代地表示為(例如在一個狀態(tài)圖中的)一系列相關(guān)狀態(tài)或事件。此外，根 據(jù)一或多個方面，并不需要所有所說明的動作來實施方法。
[0018]視頻譯碼標準包含由ITU-T H.261、IS0/IEC MPEG-I視覺、ITU-T H.262或IS0/IEC MPEG-2視覺、IS0/IEC MPEG-4視覺、ITU-T H.263、IS0/IEC MPEG-4視覺和ITU-T Η·264(也 被稱作IS0/IEC MPEG-4AVC)界定的那些標準，包含其可縮放視頻譯碼(SVC)和多視圖視頻 譯碼(MVC)擴展，以及當前在開發(fā)的第10部分高級視頻譯碼(AVC)、高效率視頻譯碼(HEVC) 和此些標準的擴展。HEVC最近已由ITU-T視頻譯碼專家組（VCEG)和ISO/IEC動畫專家組 (MPEG)的視頻譯碼聯(lián)合合作小組(JCT-VC)開發(fā)。最新HEVC草案規(guī)范（"HEVC WD"）從http:// phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wgll/JCTVC_N1003-VI. zip可用。對HEVC(MV-HEVC)的多視圖擴展和高級HEVC 3D視頻譯碼擴展（3D-HEVC)正由 JCT-3V開發(fā)。此外，對HEVC( SHVC)的可縮放視頻譯碼擴展正由JCT-VC開發(fā)。MV-HEVC的最近 工作草案（"MV-HEVC WD5"）從http : //phenix · it-sudparis · eu/ jct2/doc_end_user/ documents/5_Vienna/wgl I/JCT3V-E1004-v6 · zip可用。3D-HEVC的最新工作草案（"3D-HEVC WD1"）從http://phenix·it-sudparis·eu/jct2/doc_end_user/documents/5_Vienna/ wgll/JCT3V-E1001-v3.zip可用。此外，SHVC的最近工作草案（"SHVC WD3"）從http:// phenix·it-sudparis·eu/jct/doc_end_user/documents/14_Vienna/wglI/JCTVC-N1008-v3.zip 可用。
[0019] 如上文所描述，視頻譯碼的某些方面(例如，HEVC擴展中）包含導出層間參考圖片 集以用于當前層中的當前圖片的層間預測。舉例來說，視頻編碼器可分析與當前層中的當 前圖片相關(guān)聯(lián)的參考圖片的數(shù)目以使得視頻編碼器可提供可由視頻解碼器使用的信息，其 可允許視頻解碼器導出用于當前圖片和/或當前層的層間參考圖片集。舉例來說，在視頻參 數(shù)集(VPS)層級，視頻編碼器可提供指示（例如，設(shè)定成"0"或"Γ的值的語法元素和/或旗 標），其向視頻解碼器指示來自當前層的直接參考層的全部圖片可以用于(例如，包含在內(nèi)） 參考圖片集(RPS)。通過提供某些指示(例如，將某些旗標設(shè)定為"0"或"Γ的值），視頻編碼 器可允許(或啟用）視頻解碼器以確定針對相關(guān)聯(lián)視頻序列中的全部圖片將如何分配存儲 器且可允許(或啟用)視頻解碼器將圖片中的每一者嵌入到參考圖片集(RPS)中。
[0020] 舉例來說，MV-HEVC WD5和SHVC WD3的最近工作草案在視頻參數(shù)集(VPS)中包含具 WliATip^^.S/；]i^;liKall_ref_layers_active_flag： u^^l^all_ref_layers_active_flag 指定對于參考VPS的每一圖片，含有所述圖片的層的全部直接參考層的參考層圖片存在于 與所述圖片相同的存取單元中，且包含在所述圖片的層間參考圖片集中。等于0的all_ref_ layers_active_f lag指定以上限制可以或可不應用。"當視頻編碼器將all_ref_layers_ active_flag設(shè)定為"1"的值且向視頻解碼器用信號表示all_ref_layers_active_flag時， 視頻解碼器可針對相關(guān)聯(lián)圖片導出指定層間參考圖片集(RPS)中包含的層間參考圖片的數(shù) 目的變量(例如，視頻解碼器可確定有效參考層圖片的數(shù)目hMV-HEVC WD5和SHVC WD3的最 近工作草案為此目的包含變量NumActiveRefLayerPics。下文的代碼展示在MV-HEVC WD5和 SHVC WD3的最近工作草案中如何導出變量NumActiveRefLayerPics:
[0022] 通過以上述方式使用all_ref_layers_active_f lag，在層間RPS的導出期間可節(jié) 省一些切片層級信令開銷。舉例來說，在當前層(含有當前圖片的層)的直接參考層圖片(有 時稱為參考層圖片）中的每一者存在于與當前圖片相同的存取單元中且包含在當前圖片的 層間參考圖片集中時，可節(jié)省信令開銷。直接參考層是可以用于另一層的層間預測的層，例 如當前層。直接參考層圖片(或參考層圖片)是用于當前圖片的層間預測且在與當前圖片相 同的存取單元中的直接參考層中的圖片。當VPS中指定的直接參考層圖片存在于每一存取 單元中、VPS中指定的直接參考層圖片全部用于層間預測以及VPS中指定的直接參考層圖片 全部插入到中當前圖片的至少一個參考圖片列表中時，此信令開銷節(jié)省可在多視圖視頻譯 碼情形中發(fā)生。其中此可發(fā)生的另一情形是在可縮放視頻譯碼期間，其中常見的是每一增 強層具有僅一個直接參考層且直接參考層圖片將存在于每一存取單元中且用于層間預測。
[0023] 然而，上述用于信令和RPS導出的當前HEVC擴展方法具有某些缺點。舉例來說，如 果至少一個子層中的相關(guān)聯(lián)圖片中的任一者受限而不在層間預測中使用，那么當前過程不 允許視頻編碼器如上文所描述為視頻解碼器提供信令開銷節(jié)省指示。更具體來說，當相關(guān) 聯(lián)圖片中的任一者具有大于最大時間識別值(Max TID)的時間識別值(TIDSTemporalID) (例如，max_tid_il_ref_pics_plusl[i])時，MV-HEVC WD5和SHVC WD3的最近工作草案要求 將all_ref_layers_active_flag設(shè)定成零的值（即，指示要求對于參考VPS的每一圖片含有 所述圖片的層的全部直接參考層的參考層圖片存在于與所述圖片相同的存取單元中且包 含在圖片的層間參考圖片集中的限制可以或可不應用）。換句話說，對于在〇到vps_max_ layers_minusl (包含性）的范圍內(nèi)的i的任何值，通過小于或等于參考VPS的譯碼視頻序列 (CVS)中的全部視頻譯碼層(VCL)網(wǎng)絡抽象層(NAL)單元的Temporal Id的最大值的max_tid_ il_ref_piCS_plusl[i]-l來指示時間子層層間預測限制。這些限制可造成當前方法浪費譯 碼資源(例如，因具有高存儲器成本、高信令成本等)且削弱上述旗標和變量的實用性和/或 削弱原本可用于優(yōu)化存儲器的任何其它語法元素的實用性。鑒于此些限制，將有益的是例 如即使至少一個子層中的相關(guān)聯(lián)圖片中的一些受限而不用于層間預測，也允許視頻編碼器 更頻繁地為視頻解碼器提供上述信令開銷節(jié)省指示。
[0024] 因此，本發(fā)明描述用于層間參考圖片集(RPS)導出的技術(shù)，其使用與直接參考層圖 片的某些性質(zhì)相關(guān)的指示和/或確定以確定來自直接參考層圖片集合的有效參考層圖片的 數(shù)目。在一個方面中，所描述技術(shù)可包括用于基于子層參考預測相依性改善現(xiàn)存層間RPS導 出方法的各種方法。舉例來說，所述技術(shù)可致使(或啟用)視頻編碼器比當前方法更頻繁地 為視頻解碼器提供信令開銷節(jié)省指示。舉例來說，改進的方法可集成在例如HEVC擴展中，且 應用于可縮放譯碼、多視圖譯碼(例如，具有或不具有深度）、HEVC的任何其它擴展和/或其 它多層視頻編解碼器。所描述的方法和/或信令機制中的任一者可彼此獨立地或組合地應 用。
[0025] 本發(fā)明中描述的技術(shù)的優(yōu)點以及其它優(yōu)點可包含在層間參考圖片集合的導出期 間減少存儲器分配且減少信令成本(例如，索引信令成本）。與MV-HEVC WD5和SHVC WD3中的 當前方法相比，本發(fā)明中描述的技術(shù)還可減少在某些情形期間用于層間RPS的信令的切片 標頭位。
[0026] 圖IA是說明可利用本發(fā)明中描述的層間參考圖片集導出技術(shù)的實例視頻編碼和 解碼系統(tǒng)10的框圖。如圖IA中所展示，系統(tǒng)10包含源模塊12,其產(chǎn)生稍后待由目的地模塊14 解碼的經(jīng)編碼視頻數(shù)據(jù)。在圖IA的實例中，源模塊12與目的地模塊14在分開的裝置上，具體 來說，源模塊12為源模塊的部分，并且目的地模塊14為目的地裝置的部分。然而，注意，源模 塊12與目的地模塊14可在同一裝置上或為同一裝置的部分，如在圖IB的實施中所展示。
[0027] 再次參考圖1A，源模塊12和目的地模塊14可包括廣泛范圍的裝置中的任一者，包 含桌上型計算機、筆記本(即，膝上型)計算機、平板計算機、機頂盒、例如所謂的"智能"電話 的電話手持機、所謂的"智能"墊、電視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制 臺、視頻流式傳輸裝置，或類似物。在一些情況下，源模塊12和目的地模塊14可經(jīng)裝備以用 于無線通信。
[0028] 目的地模塊14可經(jīng)由鏈路16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16可包括能夠?qū)?經(jīng)編碼視頻數(shù)據(jù)從源模塊12移動到目的地模塊14的任何類型媒體或裝置。在圖IA的實例 中，鏈路16可包括使得源模塊12能夠?qū)崟r將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地模塊14的通 信媒體。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)例如無線通信協(xié)議等通信標準加以調(diào)制，且發(fā)射到目的地 模塊14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個物理傳 輸線。通信媒體可形成分組網(wǎng)絡(例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡，例如因特網(wǎng)）的部分。通 信媒體可包含路由器、交換器、基站或任何其它可以用于促進從源模塊12到目的地模塊14 的通信的設(shè)備。
[0029] 替代地，經(jīng)編碼