在多層視頻編碼中的低延遲概念的制作方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及允許有效多視圖/層編碼(例如，多視圖圖片/視頻編碼)的編碼概念。
【背景技術(shù)】
[0002]在可伸縮視頻編碼(SVC)中，編碼圖片緩沖器(CPB)在完整的訪問單元(AU)上操作。在相同的時刻，從編碼圖片緩沖器(CPB)中移除一個AU的所有網(wǎng)絡(luò)抽象層單元(NALU)。AU包含所有層的數(shù)據(jù)包(S卩，NALU)。
[0003]在HEVC基礎(chǔ)規(guī)范[I]中，與H.264/AVC相比，增加了解碼單元(DU)的概念。DU是在位流內(nèi)的連續(xù)位置中的一組NAL單元。在單層視頻位流中，所有這些NAL單元屬于相同層，SP，所謂的基礎(chǔ)層。
[0004]HEVC基礎(chǔ)規(guī)范包含必要的工具，以允許通過超低延遲解碼位流，即，通過在DU等級上的CPB操作以及具有在AU等級上的CPB操作相反的具有DU粒度的CPB定時信息，與在H.264/AVC中一樣。因此，裝置可以在圖片的子部分上操作，以便減少發(fā)生處理延遲。
[0005]對于在HEVC的多層SHVC、MV-HEVC以及3D-HEVC延伸內(nèi)的相似的超低延遲操作，需要相應(yīng)地限定穿過所述層的在DU等級上的CPB操作。具體而言，需要位流，其中，具有幾層或幾個視圖的AU的DU通過層交錯，即，只要對按照位流順序緊跟著的DU沒有依賴性，規(guī)定的AU的層m的DU就可在這種超低延遲啟用的多層位流中位于相同AU的層(m+1)的DU之后。
[0006]與基于AU運(yùn)行的H.264/AVC的SVC和MVC延伸相比，超低延遲操作需要修改多層解碼器的CPB操作的修改。超低延遲解碼器可以利用額外定時信息，例如，通過SEI消息提供。
[0007]多層解碼器的一些實(shí)施方式可優(yōu)選地逐層解碼(以及在DU或AU等級上的CPB操作)，即，在解碼層m+1之前，解碼層m，這會有效地禁止具有SHVC、MV-HEVC以及3D-HEVC的任何多層超低延遲應(yīng)用。除非提供新機(jī)構(gòu)。
[0008]目前，HEVC基礎(chǔ)規(guī)范包含兩個解碼操作模式:
[0009]-基于訪問單元(AU)的解碼:同時從CPB中移除訪問單元的所有解碼單元；
[0010]-基于解碼單元(DU)的解碼:每個解碼單元具有自身的CPB移除時間。
[0011]然而，更可取的是具有考慮中的概念，這進(jìn)一步提高了多視圖/層編碼概念。

【發(fā)明內(nèi)容】

[0012]因此，本發(fā)明的目標(biāo)在于提供進(jìn)一步提高多視圖/層編碼概念的概念。具體而言，本發(fā)明的目標(biāo)在于，提供啟用低端對端延遲的可能性，然而，不放棄解碼器不能處理的至少一個后退位置或者決定不使用低延遲概念。
[0013]由待決的權(quán)利要求的主題來實(shí)現(xiàn)這個目標(biāo)。
[0014]作為本申請的基礎(chǔ)的構(gòu)思在于，提供除了反映交錯解碼單元布置的定時控制信息，還給具有不同層的交錯解碼單元的交錯多層數(shù)據(jù)流提供另外的定時控制信息。該額外的定時控制信息涉及根據(jù)后退位置訪問單元的所有解碼單元逐個解碼緩沖訪問單元被處理的該后退位置;或者根據(jù)其使用中間程序的該后退位置;根據(jù)額外發(fā)送的定時控制信息顛倒不同層的DU的交錯，從而在所述解碼器的緩沖器上啟用逐個DU的處理，然而，與不同的層相關(guān)的解碼單元沒有交錯。這兩個后退位置可同時存在。各種有利的實(shí)施方式和替換物是所附的各個權(quán)利要求的主題。
【附圖說明】
[0015]下面參照附圖描述本申請的優(yōu)選實(shí)施方式，在附圖中:
[0016]圖1示出了用作用于實(shí)現(xiàn)參照下圖進(jìn)一步概述的任何多層編碼器的一個說明性實(shí)例的視頻編碼器；
[0017]圖2示出了與圖1的視頻編碼器擬合的視頻解碼器的示意性方框圖；
[0018]圖3示出了用于WPP處理的細(xì)分成子流的圖片的示意圖；
[0019]圖4示出了顯示任何層的圖片的示意圖，細(xì)分成塊，表示圖片進(jìn)一步細(xì)分成空間段；
[0020]圖5示出了細(xì)分成塊和瓦片的任何層的圖片的示意圖；
[0021]圖6示出了細(xì)分成塊和子流的圖片的示意圖；
[0022]圖7示出了多層視頻數(shù)據(jù)流的示意圖，在此處示意性包括三層，其中，在圖7的下半部分中顯示用于在數(shù)據(jù)流內(nèi)布置屬于相應(yīng)時刻和相應(yīng)層的NAL單元的選項I和2;
[0023]圖8示出了在數(shù)據(jù)流中的部分的示意圖，在兩個層的示例性情況下，顯示了這兩個選項；
[0024]圖9示出了解碼器的示意性方框圖，配置為處理根據(jù)選項I的圖7和8的多層視頻數(shù)據(jù)流；
[0025]圖10示出了與圖9的解碼器擬合的編碼器的示意性方框圖；
[0026]圖11示出了包括表示變化層的DU的交錯傳輸?shù)臉?biāo)志的VPS語法延伸的一部分的語法實(shí)例；
[0027]圖12a示出了根據(jù)一個實(shí)施方式的包括從解碼器的緩沖器中啟用交錯的傳輸DU的DU去交錯移除的定時控制信息的SEI消息的示例性語法；
[0028]圖12b示出了根據(jù)一個替換的實(shí)施方式的也傳送圖12a的定時控制信息的本應(yīng)在交錯的DU的開始點(diǎn)綴的SEI消息的示例性語法；
[0029]圖12c示出了根據(jù)一個實(shí)施方式的在保持DU交錯的同時顯示啟用逐個DU緩沖檢索的定時控制信息的SEI消息的示例性語法；
[0030]圖13示出了隨著時間的三層的DU的位流順序的示意圖，層索引顯示為內(nèi)接數(shù)字O和2;
[0031]圖14示出了隨著時間的三層的DU的位流順序的示意圖，其中，與圖13相比，DU是交錯;
[0032]圖15示出了根據(jù)一個實(shí)施方式的顯示多層DU到多個CPB的分布的示意圖；
[0033]圖16示出了根據(jù)一個實(shí)施方式的顯示相對于多個CPB的內(nèi)存地址說明的示意圖；
[0034]圖17到圖20示出了多層視頻數(shù)據(jù)流以及相對于圖7修改的編碼器的示意圖，以便對應(yīng)于本申請的一個實(shí)施方式；
[0035]圖21到圖24示出了多層視頻數(shù)據(jù)流以及相對于在圖9中示例性示出的解碼器修改的編碼器的示意圖，以便對應(yīng)于本申請的一個實(shí)施方式；以及
[0036]圖25示出了顯示位于解碼器緩沖器上游的中間網(wǎng)絡(luò)裝置的方框圖。
【具體實(shí)施方式】
[0037]首先，作為概述，提出了編碼器/解碼器結(jié)構(gòu)的一個實(shí)例，其與后面提出的實(shí)施方式擬合。即，可以體現(xiàn)編碼器，以便利用后面概述的概念，并且這同樣適用于解碼器。
[0038]圖1示出了根據(jù)一個實(shí)施方式的編碼器的一般結(jié)構(gòu)。編碼器10可以被實(shí)施為能夠通過多線程的方式或非多線程的方式(即，僅僅單線程的方式)進(jìn)行操作。即，例如，編碼器10可以使用多個CPU核心實(shí)現(xiàn)。換言之，編碼器10可以支持平行處理，但是不需要這樣做。所生成的位流還可由單線程編碼器/解碼器生成/解碼。然而，本申請的編碼概念使平行處理編碼器能夠有效地應(yīng)用平行處理，然而，不損害壓縮效率。關(guān)于平行處理能力，相似的陳述對于稍后在圖2中描述的解碼器有效。
[0039]編碼器10是視頻編碼器。視頻14的圖片12顯示為在輸入16上進(jìn)入的編碼器10。圖片12顯示了某個場景，S卩，圖片內(nèi)容。然而，編碼器10在其輸入16上也接收關(guān)于相同時刻的另一個圖片15，這兩個圖片12和15屬于不同的層。僅僅為了說明的目的，圖片12顯示為屬于層0，而圖片15顯示為屬于層I。圖1示出了層I可以相對于層O涉及更高的空間分辨率，S卩，可以顯示具有更高數(shù)量的圖片樣本的相同場景，但是這僅僅用于說明的目的，并且層I的圖片15可以交替地具有相同的空間分辨率，但是例如，可以相對于層O在視圖方向不同，S卩，可以從不同的角度來捕捉圖片12和15。要注意的是，在本文檔中使用的術(shù)語基礎(chǔ)和增強(qiáng)層可以表示在層的層級內(nèi)的任何一組參考以及相關(guān)層。
[0040]編碼器10是混合編碼器，S卩，圖片12和15由編碼器10的預(yù)測器18預(yù)測，并且由編碼器10的殘余確定器22獲得的預(yù)測殘余20在編碼器10的變換/量化模塊24內(nèi)經(jīng)受變換(例如，頻譜分解，例如，DCT)以及量化。這樣獲得的變換的和量化的預(yù)測殘余26在熵編碼器28內(nèi)經(jīng)受熵編碼，例如，算術(shù)編碼或可變長度編碼，例如，使用上下文自適應(yīng)性。可重構(gòu)版本的殘余可用于解碼器，即，去量化的并且再變換的殘余信號30由再變換/再量化模塊31恢復(fù)，并且通過組合器33與預(yù)測器18的預(yù)測信號32再結(jié)合，從而造成分別重構(gòu)34圖片12和15。然而，編碼器10逐塊操作。因此，重構(gòu)信號34在塊邊界上具有不連續(xù)性，因此，濾波器36可以應(yīng)用于重構(gòu)信號34中，以便分別為圖片12和15產(chǎn)生參考圖片38，根據(jù)該圖片，預(yù)測器18預(yù)測不同層的后續(xù)編碼圖片。如圖1中的虛線所示，然而，預(yù)測器18也可以(例如，在其他預(yù)測模式中，例如，空間預(yù)測模式)直接利用重構(gòu)信號34，無需濾波器36或中間版本。
[0041]預(yù)測器18可以從不同的預(yù)測模式中選擇，以便預(yù)測圖片12的某些塊。在圖1中實(shí)例性顯示圖片12的一個這種塊39?？梢跃哂袝r間預(yù)測模式，根據(jù)該模式，根據(jù)相同層的先前編碼的圖片(例如，圖片12’)，預(yù)測表示圖片12所分成的圖片12的任何塊的塊39。還可以具有空間預(yù)測模式，根據(jù)該模式，根據(jù)相同圖片12的先前編碼的部分(相鄰塊39)，預(yù)測塊39。還在圖1中說明性顯示圖片15的塊41，以便表示圖片15所分成的任何其他塊。對于塊41，預(yù)測器18可以支持剛剛討論的預(yù)測模式，即，時間和空間預(yù)測模式。此外，預(yù)測器18可以提供層間預(yù)測模式，根據(jù)該模式，根據(jù)下層的圖片12的相應(yīng)部分，預(yù)測塊41。在“相應(yīng)部分”內(nèi)的“相應(yīng)”表示空間對應(yīng)性，即，在圖片12內(nèi)的部分顯示場景的相同部分，作為塊41，以在圖15中預(yù)測。
[0042]自然，預(yù)測器18的預(yù)測不限于圖片樣本。預(yù)測也可以適用于任何編碼參數(shù)，S卩，預(yù)測模式、時間預(yù)測的運(yùn)動矢量、多視圖預(yù)測的視差矢量等。然后，僅僅在位流40內(nèi)將殘差編碼。即，使用空間和/或?qū)娱g預(yù)測，可以將編碼參數(shù)預(yù)測性編碼/解碼。甚至在此處，可以使用視差補(bǔ)償。
[0043]使用某個語法以便編譯量化的殘余數(shù)據(jù)26，S卩，變換系數(shù)等級和其他殘余數(shù)據(jù)以及編碼參數(shù)，例如，包括由預(yù)測器18確定的圖片12和15的單獨(dú)塊39和41的預(yù)測模式和預(yù)測參數(shù)，并且這個語法的語法元素經(jīng)受熵編碼器28的熵編碼。由熵編碼器28輸出的這樣獲得的數(shù)據(jù)流40形成由編碼器10輸出的位流40。
[0044]圖2示出了與圖1的視頻編碼器擬合的解碼器，S卩，能夠解碼位流40。圖2的解碼器通常由參考符號50表不，并且包括熵解碼器、再變換/去量化模塊54、組合器56、濾波器58以及預(yù)測器60。熵解碼器42接收位流并且進(jìn)行熵解碼，以便恢復(fù)殘余數(shù)據(jù)62和編碼參數(shù)64。再變換/去量化模塊54去量化和再變換殘余數(shù)據(jù)62，并且將這樣獲得的殘余信號轉(zhuǎn)發(fā)給組合器56。組合器56還從預(yù)測器60接收預(yù)測信號66，該預(yù)測器反過來根據(jù)由組合預(yù)測信號66和殘余信號65的組合器56確定的重構(gòu)信號68，使用編碼參數(shù)64形成預(yù)測信號66。預(yù)測反射預(yù)測器18最終選擇的預(yù)測，S卩，可使用相同的預(yù)測模式，并且為圖片12和15的單獨(dú)塊選擇這些模式，并且根據(jù)預(yù)測參數(shù)，操縱這些模式。如上面在圖1中所述，交替地或者此外，預(yù)測器60可以使用過濾版本或某種中間版本的重構(gòu)信號68。同樣，可以在未過濾版本或某種過濾版本的組合信號68上，確定要最終在解碼器50的輸出70上再現(xiàn)和輸出的不同層的圖片。
[0045]圖10的編碼器10支持瓦片(tile)概念。根據(jù)瓦片概念，圖片12和15分別被細(xì)分成瓦片80和82，并且至少在這些瓦片80和82內(nèi)的塊39和41的預(yù)測分別限于僅僅使用與相同圖片12、15的相同瓦片相關(guān)的數(shù)據(jù)，作為空間預(yù)測的基礎(chǔ)。這邊小時塊39的空間預(yù)測限于使用相同瓦片的先前編碼部分，但是時間預(yù)測模式不限于依賴于先前編碼的圖片(例如，圖片12’)的信息。同樣，塊41的空間預(yù)測模式不限于僅僅使用相同瓦片的先前編碼的數(shù)據(jù)，但是不限制時間和層間預(yù)測模式。解碼器50的預(yù)測器60同樣被配置為特別處理瓦片邊界;僅僅在一個瓦片內(nèi)執(zhí)行預(yù)測和熵上下文選擇和/或自適應(yīng)，而不與任何瓦片邊界相交。
[0046]為了說明的目的，僅僅選擇將圖片15和12分別細(xì)分成6個瓦片。可以在分別單獨(dú)用于圖片12’、12以及15、15’的位流40內(nèi)，選擇和用信號發(fā)送細(xì)分成瓦片。每個圖片12和15的瓦片的數(shù)量分別可以是1、2、3、4、6等中的任一個，其中，瓦片劃分可以限于僅僅規(guī)則地劃分成行和列。為了完整性起見，要注意的是，單獨(dú)編碼瓦片的方式可以不限于幀內(nèi)預(yù)測或空間預(yù)測，而是還可以包含在瓦片邊界上的編碼參數(shù)以及在熵編碼內(nèi)的上下文選擇的任何預(yù)測。即，后者還可以限于僅僅取決于相同瓦片的數(shù)據(jù)。因此，解碼器能夠平行執(zhí)行上述操作，即，以瓦片為單位。
[0047]圖1和圖2的編碼器和解碼器可以交替地或者另外能夠使用/支持WPP(波前并行處理)概念。參照圖3。WPP子流100還表示圖片12、15在空間是劃分成WPP子流。與瓦片和切片相反，WPP子流不在WPP子流100之上的預(yù)測和上下文選擇上施加限制。WPP子流100在行上擴(kuò)展，例如，在LCU(最大編碼單元)101的行上，S卩，預(yù)測編碼模式在位流內(nèi)單獨(dú)可傳輸?shù)淖畲罂赡軌K，并且為了能夠平行處理，僅僅對熵編碼做出一個妥協(xié)。尤其，在WPP子流100之中限定順序102，該順序從頂部示例性通向底部，并且對于每個WPP子流100，除了在順序102內(nèi)的第一WPP子流以外，符號字母表的概率估計(S卩，熵概率)不完全重置，但是采用或者布置為等于在將直接位于前面的WPP子流(直到其第二 LCU)熵編碼/解碼之后所產(chǎn)生的概率，如線條104所示，LCU順序或子流的解碼器順序開始，分別用于在圖片12和15的相同側(cè)(例如，由箭頭106表示的左手邊)上的每個WPP子流，并且在IXU行方向通向另一側(cè)。因此，通過遵守分別在相同圖片12和15的這系列WPP子流之間的某些編碼延遲，這些WPP子流100可平行解碼/編碼，以便平行(即，同時)解碼/編碼相應(yīng)圖片12、15的部分形成一種波前108，該波前通過瓦片的方式在圖片之上從左到右移動。
[0048]要簡單注意的是，順序102和104還在LCU之中從上到下逐行限定光柵掃描順序，從左上角的LCU 101通向右下角LCU JPP子流均可以對應(yīng)于一個LCU行。簡單地返回看瓦片，瓦片還可以限于與LCU邊界對準(zhǔn)。就在子流內(nèi)部的兩個切片之間的邊界而言，子流可以分成一個或多個切片，不限于LCU邊界。然而，在從子流的一個切片過渡到子流的下一個切片時，在那種情況下，采用熵概率。在瓦片的情況下，就在瓦片內(nèi)部的兩個切片之間的邊界而言，整個瓦片可以總結(jié)成一個切片，或者一個瓦片可以分成一個或多個切片，不限于LCU邊界。在瓦片的情況下，在LCU之間的順序改變，以便在按照瓦片順序繼續(xù)進(jìn)入下一個瓦片之前首先按照光柵掃描順序，穿過按照瓦片順序的瓦片。
[0049]如迄今所述，圖片12可以分成瓦片或WPP子流，同樣，圖片15也可以分成瓦片或WPP子流。理論上，可以給一個圖片12和15選擇WPP子流劃分/概念，而給另一個圖片選擇瓦片劃分/概念。交替地，可以在子流上施加限制，根據(jù)該限制，概念類型(即，瓦片或WPP子流)必須在層之間相同。
[0050]空間段的另一個實(shí)例包括切片。切片用于分割位流40，用于傳輸目的。切片裝入NAL單元內(nèi)，這些單元是用于傳輸?shù)淖钚?shí)體。每個切片單獨(dú)可編碼/可解碼。即，在切片邊界之上禁止任何預(yù)測，就如上下文選擇等一樣。
[0051]這些完全是空間段的三個實(shí)例:切片(slice)、瓦片以及WPP子流。此外，所有是哪個平行化概念(瓦片、WPP子流以及切片)可以相結(jié)合使用，S卩，圖片12或圖片15可以分成瓦片，其中，每個瓦片分成多個WPP子流。而且，切片可以用于將子流分成多個NAL單元，例如，(但不限于)在瓦片或WPP邊界上。如果使用瓦片或WPP子流并且另外使用切片，劃分圖片12、15，并且切片劃分偏離另一個WPP/瓦片劃分，那么空間段限定為圖片12、15的最小單獨(dú)可解碼的部分。交替地，可以在位流上施加限制，概念的組合可以用于圖片(12或15)內(nèi)和/或如果邊界需要在所使用的不同概念之間對準(zhǔn)。
[0052]上面討論了由編碼器和解碼器支持的各種預(yù)測模式、在預(yù)測模式上施加的限制、以及用于熵編碼/解碼的上下文推導(dǎo)，以便啟用平行編碼概念，例如，瓦片和/或WPP概念。上面還提出了，編碼器和解碼器可以逐個塊地操作。例如，逐個塊地選擇上述預(yù)測模式，即，通過比圖片本身更精細(xì)的粒度。在繼續(xù)描述本申請的方面之前，解釋根據(jù)一個實(shí)施方式的在切片、瓦片、WPP子流以及上述塊之間的關(guān)系。
[0053]圖