使用擴展機制的層id信令的制作方法
【技術領域】
[0001] 本申請設及…，例如，在多層視頻編碼的領域中。
【背景技術】
[0002] 視頻編解碼器規(guī)范(例如，皿VC基礎規(guī)范【1】及其擴展，例如，多視圖擴展【2】【3】） 通常獲得機構，用于在分層編碼場景中信令視頻數(shù)據(jù)的每個編碼塊所屬的層。信令機構需 要隨時可用，比較在圖1中的表格中提供的肥VC中的den NAL單元報頭(nuh_laye;r_id)內的 層標識符。
[0003] 由于其在位方面的尺寸有限，所W相應HEV打吾法元素允許64個值用于識別可擴展 層、視圖和/或深度。對于使用當前肥VC NAL單元報頭語法的多視圖視頻，例如，運意味著64 個視圖或32個視圖加上深度的組合限制為最大。雖然運對于很多共同的立體視圖場景和其 他應用充分，但是對于應用(例如，光場成像【4】、【5】或全息顯示【6】)具有不止100個視圖的 大型攝像頭陣列需要可擴展機構，用于信令層標識符的更大空間。
[0004] 而且，通過其相對于彼此的編碼依賴性或空間關系將某些層或視圖分組，構成層 標識符的空間，可具有優(yōu)點。進一步，由于在編碼的視頻位流內從已經(jīng)可用的信息中獲得運 種信息，需要無法容忍的計算資源，所W在構成的層標識符空間內提供編碼依賴性的緊湊 表示，也具有優(yōu)點。

【發(fā)明內容】

[0005] 因此，本申請的目標在于，提供用于與多層編碼相結合信令…的概念，運在(例如） 更小的邊信息開銷和/或改進的向后兼容性方面更有效。由即將發(fā)生的獨立權利要求的主 題實現(xiàn)運個目標。
[0006] 本申請的一個方面設及與多層視頻信號的每個數(shù)據(jù)包相關聯(lián)的層ID的信令。具體 而言，運方面實現(xiàn)信令該層關聯(lián)的有效方法，然而，與編碼解碼器保持向后兼容性，根據(jù)該 向后兼容性，基礎層ID字段的某個值限制為不可擴展，例如，在基礎層ID字段內的基礎層ID 值0。并非特別相對于該不可擴展的基礎層ID值避開該限制，通過將基礎層ID字段細分成第 一子字段和第二子字段，通過可擴展的方式信令多層數(shù)據(jù)流的部分的層ID:每當基礎層ID 字段的第一子字段滿足預定標準，提供擴展層ID字段，并且如果基礎層ID字段的第一子字 段不滿足預定標準，那么省略擴展層ID字段。上述不可擴展基礎層ID值"隱藏"在運組基礎 層ID值內，其中，基礎層ID字段的第一子字段不滿足預定標準，因此，運個不可擴展基礎層 ID值不單獨處理，而是擅染前一個組的一部分。確切地說，如果基礎層ID字段的第一子字段 滿足預定標準，那么從在多層數(shù)據(jù)流內信令的擴展層ID字段中獲得擴展值，W便運同樣位 于擴展值的域的第一子集內，并且如果基礎層ID字段的第一子字段不滿足預定標準，那么 該擴展值設置為與擴展值的域的第一子集不相交的值。然后，使用擴展值W及從基礎層ID 字段的第二子字段中獲得的集群值，索引與相應部分相關聯(lián)的層?？偠灾?，盡管保持向后 兼容性，也未喪失信令效率。
[0007] 本申請的一個方面設及在多層數(shù)據(jù)流的層之間的層間依賴性的信號作用。根據(jù)該 方面，通過表示在基礎層ID能表示的幾對不同值之間的相互依賴性的第一相互依賴性語法 結構W及表示在擴展層ID能表示的幾對不同值之間的相互依賴性的第二相互依賴性語法 結構的方式描述層間依賴性，發(fā)現(xiàn)在一方面的層間依賴性的潛在多樣性的太密集限制與另 一方面的層間依賴性的太復雜信令之間的良好折衷，所述基礎層ID和擴展層ID索引與所述 多層數(shù)據(jù)流的部分相關聯(lián)的層。根據(jù)該概念，可在一方面的可信令層間依賴性的增加的多 樣性與另一方面的用于信令所述層間依賴性的減小的邊信息開銷之間轉移重點：例如，分 別調用具有共同的基礎層ID的層的組，即，"集群"，所述相同的第二相互依賴性語法結構可 用于單獨在所有集群內并且在通過所述第一相互依賴性語法結構彼此相關的所有集群之 間調節(jié)所述相互依賴性?？商鎿Q地，所述第二相互依賴性語法結構的兩個實例化可用于描 述一方面在所述集群內并且另一方面在不同集群的層之間的層的相互依賴性。無論是將重 點放在增加的多樣性還是減小的邊信息開銷上，所述相互依賴性信令理念的結果是保持低 信令開銷。
[0008] 本申請的一個方面設及用于多層視頻信號的層的至少一個特征的信令(例如，對 于每層，通過層間預測與相應層直接相關的相關層的指示）或者上述第二相互依賴性語法 結構的信令。根據(jù)該方面，在多層視頻信號內信令最大語法元素，W指示多層視頻信號的數(shù) 據(jù)包的擴展層ID字段的最大使用值，例如，最大語法元素的范圍是(例如)延伸穿過多層視 頻信號的幾個部分的多層視頻信號的預定部分。因此，根據(jù)該方面，對于接收多層視頻信號 的裝置(例如，解碼器或網(wǎng)絡元件），可行的是為多層視頻信號的較大預定部分獲得關于擴 展層ID字段可信令的可能值的可能域的實際消耗部分的知識，并且不需要為基礎層ID字段 值和擴展層ID字段值的每個組合信令至少一個特征，更確切地說，足W為基于最大假定值 確定的最大層數(shù)信令所述至少一個特征。因此，不需要為具有層ID的層傳輸/信令所述至少 一個特征，所述層的擴展層ID不在多層視頻信號的預定部分內發(fā)生。除此W外，根據(jù)進一步 實施方式，最大假定值的知識可用于減少用于信令每個部分的層ID的邊信息開銷，即，用于 減少在多層視頻信號的數(shù)據(jù)包內信令擴展層ID字段所需要的位。
【附圖說明】
[0009] 上述方面可組合或者單獨使用，并且上述方面的優(yōu)選實現(xiàn)方式是從屬權利要求的 主題并且稍后參照附圖討論，其中：
[0010]圖1示出了在肥VC內的NAL單元報頭的語法；
[0011] 圖2示意性示出了包括多層視頻編碼器、網(wǎng)絡元件W及多層視頻解碼器的環(huán)境，其 中，多層視頻編碼器、網(wǎng)絡元件W及多層視頻解碼器可由在W下附圖中描述的概念的任何 概念或任何組合改進；
[0012] 圖3示意性示出了網(wǎng)絡裝置W及通過逐個集群的方式在到達網(wǎng)絡裝置的多層數(shù)據(jù) 流內信令層相互依賴性的概念；
[0013] 圖4示意性示出了根據(jù)圖3的概念信令層間依賴性的方式；
[0014] 圖5示意性示出了在使用圖3的信令理念的情況下獲得層間依賴性的更具體的實 例；
[0015] 圖6通過示出通過指示層ID擴展的語法元素擴展的一部分薄片段報頭來示出薄片 段報頭的肥V打吾法的可能擴展；
[0016] 圖7示出了示例性擴展為實現(xiàn)圖3的信令理念的VI^語法的實例；
[0017] 圖8到圖10示出了圖7的實例的替換物；
[0018] 圖11示意性示出了用于設置本申請的進一步概念的裝置，根據(jù)該概念，在數(shù)據(jù)流 內信令擴展層ID字段的最大假定值；
[0019] 圖12示意性示出了圖11的概念；
[0020] 圖13示出了在擴展為包括擴展層ID字段的肥VC的薄片段報頭之中的部分的實例； [0021 ]圖14示出了擴展為包括語法元素的VPS語法的實例，W便表示圖13的擴展層ID字 段的長度；
[0022] 圖15示出了擴展為包括表示擴展層ID字段的最大值的語法元素的VPS語法的實 例；
[0023] 圖16a到16c示出了擴展為包括擴展層ID字段的在SEI擴展、SPS語法或PPS語法的 語法結構之中的部分的實例；
[0024] 圖17示出了關于在視頻數(shù)據(jù)流內的層的VPS語法信令信息的實例，根據(jù)相對于圖 11和12解釋的最大假定值，循環(huán)穿過其語法部分多次；
[0025] 圖18示出了根據(jù)特定實例例證在擴展層ID字段、基礎層ID字段與層ID之間的關系 的示意圖，具體而言，使用laye;r_W_ext表示擴展層ID字段，使用nuh_laye;r_id表示基礎層 ID字段，并且使用layer ID表示層ID，并且擴展層ID字段的能表示值的數(shù)量由max_laye;r_ id_ext(加上1)表示，通過將擴展長度設置為等于2,將擴展層ID字段的長度選擇為2,該數(shù) 量在此處例證地設置為3;
[0026] 圖19示出了擴展為包括擴展層ID字段的在薄片段報頭之中的部分的實例；
[0027] 圖20a示出了擴展為包括表示基礎層ID字段的子字段的長度的語法元素的VPS語 法的實例；
[0028] 圖20b示出了修改為有條件地明確信令擴展層ID字段的在薄片段報頭之中的部分 的實例；W及
[0029] 圖21示出了說明根據(jù)圖18的概念使用實現(xiàn)的關系獲得層ID的網(wǎng)絡裝置的功能的 流程圖。
【具體實施方式】
[0030] 在描述本申請的某些實施方式之前，參照圖2,描述示例性多層視頻編解碼器環(huán) 境，其中，可有利地使用下面概述的實施方式和方面。雖然示例性多層視頻編解碼器環(huán)境的 運個概述不理解為限制下面進一步概述的實施方式，但是相對于W下附圖示例性提供的細 節(jié)和功能被視為描述下面進一步概述的實施方式的大量可能擴展，W便產生更詳細的實施 方式。在任何情況下，在后文中提出的說明性多層視頻編解碼器環(huán)境使得更容易理解下面 概述的實施方式的優(yōu)點。
[0031] 圖2說明性示出了在其輸入處接收視頻材料202的多層視頻編碼器200。僅僅為了 說明的目的，視頻材料202說明為多視圖視頻信號，傳輸多個視圖的每個視圖的視頻數(shù)據(jù)， 例如，視頻的每個圖片的紋理和深度。一般而言，視頻材料202能表示一個場景的多維取樣。 一個維度可能是時間t。即，視頻材料202在時間上給該場景取樣，從而為每個時刻產生一個 圖片。而且，可從不同的視角捕捉該場景，從而在每個時刻為每個視圖產生一個視頻或者為 每個視圖產生一個圖片。進一步，除了場景的紋理的空間取樣，即，場景的顏色的空間取樣， 視頻材料202還為每個視圖或者視圖的每個子集提供場景的深度圖，用于相應的視圖。例 如，圖2在使用陰影線說明的深度圖與沒有陰影線繪制的紋理圖或圖像之間區(qū)分。然而，應 注意的是，應注意的是，下面進一步概述的實施方式都不限于運種多視圖材料。確切地說， 提供在圖2中的說明，僅僅為了減輕下面提出的描述。
[0032] 多層視頻編碼器200配置為將視頻材料202編碼入多層數(shù)據(jù)流或者視頻信號204。 具體而言，多層視頻編碼器200使用層間預測在對應于信息量的不同等級的不同層上將視 頻材料編碼入多層數(shù)據(jù)流204。運表示W(wǎng)下內容。多層視頻編碼器200生成多層數(shù)據(jù)流，W便 多層數(shù)據(jù)流包括多個數(shù)據(jù)包206,每個數(shù)據(jù)包與不同層中的一層相關聯(lián)。例如，多層視頻編 碼器200將視頻材料202的信息量的某個基礎等級編碼入某個基礎層的數(shù)據(jù)包206,例如，僅 僅一個視圖的紋理等。例如，從在每個數(shù)據(jù)包206內的層識別語法元素結構208中可獲得數(shù) 據(jù)包206與各種層中的任何層的關聯(lián)，其中，例如，層識別語法元素結構208可包含在相應數(shù) 據(jù)包206的報頭210內。例如，為了說明的目的，數(shù)字1、2W及3顯示為刻入數(shù)據(jù)包206內，從而 分別使用層ID 1、2W及3說明層。在運些層之中，例如，具有層ID 1的層可形成最低或者基 礎層，提供信息量的基礎等級。其他層的數(shù)據(jù)包206可僅僅在一個或多個或各種信息類型的 方面提高在基礎層的數(shù)據(jù)包206上可用的信息量。例如，除了在基礎或參考層的數(shù)據(jù)包206 內已經(jīng)編碼的視圖，某個層的數(shù)據(jù)包206還可具有在其內編碼的進一步視圖?？商鎿Q地，某 個層的數(shù)據(jù)包206可具有關于視頻材料202的場景的深度信息，例如，示圖的深度信息，該信 息的紋理已經(jīng)編碼入可能是任何更低層的基礎或者(更具體而言）參考層的數(shù)據(jù)包。同樣， 表面反射率信息可編碼入進一步層的數(shù)據(jù)包，即，相對于在該場景內的對象的表面反射率 的場景的空間取樣，與照明環(huán)境無關。并且甚至進一步地，阿爾法(alpha)混合信息可編碼 入進一步層的數(shù)據(jù)包，即，對應于單獨圖片樣本的場景點的透明度的空間取樣。某個層的數(shù) 據(jù)包206還可在某個顏色分量上增加信息，或者可增大空間分辨率，即，提供空間分辨率細 化。同樣，某個層的數(shù)據(jù)包206可僅僅提供SNR分辨率細化，即，提高編碼的視頻材料的信噪 比。為了就各種層而言，在多層數(shù)據(jù)流204內避免冗余，多層視頻編碼器200使用層間預測： 良P，某個層的數(shù)據(jù)包206相對于從一個或多個其他層(相對于前一層稱為參考層）中獲得的 層間預測在其內編碼預測殘差。層間預測可應用于不同的實體中，例如，描述視頻材料202 的語法元素和參數(shù)。例如，描述由某個層的數(shù)據(jù)包206傳輸?shù)念A測殘差可校正逐個像素地在 空間域內從所述一個或多個參考層中獲得的層間預測?？商鎿Q地，例如，多層視頻編碼器 200可使用變換殘差編碼，并且例如，可在變換域(例如，DCT域）中逐個變換系數(shù)地發(fā)生層間 預測校正?？商鎿Q地或者此外，多層視頻編碼器200可能是使用空間和/或時間預測的混合 視頻編解碼器型，并且例如，此外或者可替換地，層間預測可屬于運動向量的細化。甚至進 一步地，多層視頻編碼器200可使用分層多樹細分，W便將視頻材料202的圖片細分成:編碼 塊，W所述編碼塊為單位，應用不同的預測模式，例如，空間和時間預測;變換塊，W所述變 換塊為單位，在預測殘差上執(zhí)行上述變換;和/或其他塊體，W所述其他塊體為單位，設置某 些編碼參數(shù)，用于編碼視頻材料202，而非重新為進一步層信令細分信息，可從所述一個或 多個基礎層中的任一個中完全采用所述細分，或者可信令相對于該細分信息的細化。
[0033] 通過在層之中的層間依賴性，多層視頻信號204的層通過樹212的分支彼此相關， 所述樹的節(jié)點由上述層形成。為了傳輸關于在層之中的層間依賴性的信息，即，使關于層間 依賴性樹212的信息在解碼側上可用，多層視頻信號204可具有編碼入該信號的關于該信號 的信息。
[0034] 在圖2中，例如，說明多層視頻編碼器200在視頻數(shù)據(jù)流204內點綴包括或者傳輸信 息214的高級語法數(shù)據(jù)包216。信息214可包括層間依賴性語法結構，W便描述在樹212內的 層間依賴性。
[0035] 然而，關于樹212的信息可在編碼器和解碼器上可替換地默認已知或者可重構。因 此，此外或者可替換地，層相關的信息214可包括與某個層ID擴展機構相關的信息。具體而 言，雖然對于很多應用，中等數(shù)量的層足W形成多層視頻信號204,但是一些其他應用可經(jīng) 受層識別語法元素結構208可信令的太少數(shù)量的層。換言之，構成層識別語法元素結構208， W便對需要運種大量層的那些應用，運也會容納大量層，在考慮應用的整體多重性時，會不 利地造成高邊信息開銷，并且解釋層識別語法元素結構208, W便運同樣僅僅容納中等數(shù)量 的層，運會拒絕其他應用由位于數(shù)據(jù)流204之下的多層視頻編解碼器充分支持。因此，可使 用某個擴展機構，W便能夠在層識別語法元素結構208僅僅容納較低的中等數(shù)量的層的數(shù) 據(jù)流204的模式與層識別語法元素結構甚至容納大量層的模式之間切換，并且信息214可另 外或者可替換地參與在運些模式之間切換。
[0036] 雖然高級語法數(shù)據(jù)包216的效力范圍可包含整個多層視頻信號204,但是數(shù)據(jù)包 216所屬的預定部分也可能更小，例如，預定部分可與多層視頻信號204在時間上分成的塊 體相關，每個塊體是圖片序列。例如，使用DASH或另一個合適的流協(xié)議，多層視頻編碼器200 可能W剛剛提及預定部分為單位，改變編碼入位流204的層數(shù)、具有樹結構212的形式的層 間依賴性和/或相對于層識別語法元素結構208在擴展或非擴展之間的切換。在任何情況 下，定期傳輸高級語法數(shù)據(jù)包216使接收者能夠在隨機訪問的基礎上具有多個隨機訪問時 間實例，W開始在其間解碼多層視頻信號214。
[0037] 圖2還示例性示出了用于接收多層數(shù)據(jù)流的裝置。例如，可選的網(wǎng)絡元件218接收 并且處理多層視頻數(shù)據(jù)流204，W便將該數(shù)據(jù)流轉發(fā)給多層視頻數(shù)據(jù)流204的接收者。因此， 圖2還示出了配置為解碼多層視頻數(shù)據(jù)流20