增強層以提供空間及/或質(zhì)量可縮放性。舉例來說，增強層可為具有與層2(530)相同的分 辨率的CIF表示。在所述實例中，層3 (540)是SNR增強層。如所述實例中所展示，每一空間 或SNR增強層自身可為在時間上可縮放的，具有與H. 264/AVC兼容層相同的時間可縮放性 結(jié)構(gòu)。而且，增強層可增強空間空間分辨率及幀速率兩者。舉例來說，層4(550)提供4CIF 增強層，其進一步將幀速率從15Hz增加到30Hz。
[0122] 如圖6中所展示，同一時間實例中的經(jīng)譯碼切片在位流次序上是連續(xù)的，且在SVC 的上下文中形成一個存取單元610。那些SVC存取單元610接著遵循解碼次序，所述解碼次 序可不同于顯示次序且（例如）是由時間預測關(guān)系來決定。
[0123]H. 264/AVC的可縮放擴展的特征
[0124]SVC的一些功能性是從H. 264/AVC繼承的。與先前可縮放標準相比，下文回顧某些 重要特征，例如層間預測和單環(huán)路解碼。
[0125] 單環(huán)路解碼
[0126] 為了保持低復雜性解碼器，在SVC中，單環(huán)路解碼是必選的。在單環(huán)路解碼中，可 使用單一運動補償環(huán)路來解碼每一支持的層。為了實現(xiàn)此目的，僅允許針對增強層宏塊使 用層間幀內(nèi)預測，對于增強層宏塊，位于同一地點的參考層信號經(jīng)幀內(nèi)譯碼。進一步需要使 用受約束的幀內(nèi)預測來譯碼用以層間預測較高層的所有層。
[0127] 層間預測
[0128]SVC引入基于紋理、殘余及運動的對空間及SNR可縮放性的層間預測。已將SVC中 的空間可縮放性一般化為兩個層之間的任何分辨率?？赏ㄟ^粗糙粒度可縮放性（CGS)或中 等粒度可縮放性（MGS)來實現(xiàn)SNR可縮放性。在SVC中，兩個空間或CGS層屬于不同相依 層（由NAL單元標頭中的dependency_id指示），而兩個MGS層可在相同的相依層中。一個 相依層包含具有從〇到較高值的quality_id的對應(yīng)于質(zhì)量增強層的質(zhì)量層。在SVC中，利 用層間預測方法以減少層間冗余。在以下段落中簡要地介紹所述方法。
[0129] 層間幀內(nèi)預測
[0130] 使用層間幀內(nèi)預測的譯碼模式在SVC中被稱為"BL內(nèi)（IntraBL) "模式。以實現(xiàn) 單環(huán)路解碼，僅在作為受約束幀內(nèi)模式而譯碼的基礎(chǔ)層中具有位于同一地點的宏塊（MB) 的MB才可使用層間幀內(nèi)預測模式。受約束幀內(nèi)模式MB經(jīng)幀內(nèi)譯碼，而不參考來自相鄰的 經(jīng)幀間譯碼MB的任何樣本。
[0131] 層間殘余預測
[0132] 如果指示MB使用殘余預測，那么用于層間預測的基礎(chǔ)層中的位于同一地點的MB 必須為幀間MB且其殘余可根據(jù)空間分辨率而被上取樣。增強層與基礎(chǔ)層之間的殘余經(jīng)譯 碼。也就是說，增強層的當前幀ie的重構(gòu)等于以下各者的總和：增強層的經(jīng)解量化的系數(shù) 來自增強層的時間預測匕，及基礎(chǔ)層的量化經(jīng)正規(guī)化的殘余系數(shù)rb。
[0133] !a = fe： + Pe +r<b (2)
[0134] 應(yīng)注意在許多實施方案中，在圖片水平緩沖所述殘余。雖然在運行中的殘余預測 是可能的，但其將成本很高，因為其需要在位流中定位基礎(chǔ)層塊且再次剖析所述塊以得到 基礎(chǔ)塊殘余。
[0135] 層間運動預測
[0136] 可縮放位于同一地點的基礎(chǔ)層運動向量以產(chǎn)生用于增強層中的MB或MB分區(qū)的運 動向量的預測符。另外，存在一種MB類型（被命名為基礎(chǔ)模式），其針對每一MB發(fā)送一個 旗標。如果此旗標為真且對應(yīng)的基礎(chǔ)層MB不是幀內(nèi)，則運動向量、分割模式及參考索引全 部從基礎(chǔ)層導出。
[0137]HEVCSVC擴展
[0138] 類似于H. 264/AVC，HEVC也將具有可縮放視頻譯碼擴展，其將至少提供時間可縮 放性、SNR可縮放性和空間可縮放性。
[0139] 用于HEVCSVC及3DV擴展的一般化殘余預測
[0140] 用于可縮放視頻譯碼和3D視頻譯碼的一般化殘余預測（GRP)在以下申請案中描 述：2012年7月10日申請的第61/670, 075號美國臨時申請案，2012年9月27日申請的 第61/706, 692號美國臨時申請案，2013年7月2日申請的第13/933,588號美國申請案， 2012年8月7日申請的第61/680,522號美國臨時申請案，和2013年8月2日申請的第 13/957,841號美國申請案，以上申請案的揭示內(nèi)容以全文引用的方式并入本文。在此技術(shù) 中，位于同一地點的參考層塊的幀間預測殘余可用以預測增強層中的當前塊的那些殘余。 此方法可應(yīng)用于幀間CU和跳過模式CU。此方法的框架的實例展示于圖7中，其中說明單向 預測的情況。
[0141] 假設(shè)BJ725)和Bb(715)分別表示增強層圖片中的當前塊及其位于同一地點的參 考層塊。假設(shè)P"720)表示通過使用運動向量MV& (其中子索引0指代參考列表0)獲得的 用于塊BJ725)的時間預測。類似地，假設(shè)PbQ(710)表示通過使用經(jīng)上取樣（必要時）參 考圖片中的同一運動向量MV&獲得的用于塊Bb(715)的時間預測。隨后，獲得參考層塊Rb。 的幀間預測殘余為：
[0142]Rb。=(Bb_Pb。），（3)
[0143] 考慮用于塊Be (725)的時間預測Pe。(720)，用于塊Be (725)的最終單向預測是
[0144]P=Pe〇+w* (Bb-Pb0) , (4)
[0145] 其中w是加權(quán)因數(shù)，其采用值0、0.5或1。
[0146] 在例如對于P幀的某些情況下，（4)的以下變型有時更有效
[0147]P=Bb+w? (Pe0_Pb0)，(5)
[0148] 其中w= 0. 5。因此，針對GRP模式提出四個加權(quán)模式，例如在（4)中的w= 0、0. 5 和1和在（5)中的w= 0. 5。
[0149] 加權(quán)因數(shù)w可在CU層級用信號表示為加權(quán)索引。舉例來說，加權(quán)索引0、1、2和 3(或按不同次序）可用以分別指示在（4)中的加權(quán)模式0、0.5和1和在（5)中的w= 0.5。 常規(guī)CABAC模式中的截斷一元碼可用于所述信令。
[0150]單個MC內(nèi)插GRP
[0151] 為了減少GRP的計算復雜性和存儲器帶寬要求，單個MC內(nèi)插在2012年11月29日 申請的第61/731，448號美國臨時申請案中描述，所述申請案以全文引用的方式并入本文。 在應(yīng)用中，將（4)重寫為（6)，即
[0152] P = (Pe〇~w ? Pb0) +w ? Bb (6)
[0153]考慮Pe。和Pb。共享同一運動，MC內(nèi)插可直接應(yīng)用于差分塊（PeQ_w?Pb。）以使得MC 內(nèi)插的次數(shù)從二減少到一。因此，計算復雜性和存儲器存取均減少。
[0154] 僅高級語法SHVC
[0155] 在僅高級語法SHVC中，當與HEVC單層譯碼相比時不存在新塊層級譯碼工具。在 此方法中允許僅切片和更高層級語法改變以及圖片層級操作，例如圖片濾波或上取樣。
[0156] 為了減少層之間的冗余，將經(jīng)上取樣的位于同一地點的參考層圖片放入增強層的 參考緩沖器中，以使得以與同一層中的幀間預測相同的方式實現(xiàn)層間預測。在SHVC的當前 工作草案（[5]陳，"SHVC工作草案1"）和測試模型（[6]陳，"SHVC測試模型1"）中，將層 間參考圖片標記為長期參考圖片。將層間參考的運動向量差約束為零。
[0157] 僅高級語法SHVC中的GRP仿效
[0158] 可如下所述在僅高級語法SHVC或多視圖HEVC中仿效GRP。額外細節(jié)在2012年9 月30日申請的第61/708,011號美國臨時申請案、2013年1月7日申請的第61/749,874號 美國臨時申請案和2013年9月27日申請的第14/040, 290號美國申請案中描述，以上申請 案的揭示內(nèi)容以全文引用的方式并入本文。
[0159] GRP參考圖片的產(chǎn)牛
[0160] 通過以雙向預測框架仿效塊層級GRP預測可在僅高級語法SHVC中實現(xiàn)GRP。在 此情況下，可仿效僅單向GRP預測。當前，存在三個GRP單向預測模式（例如，（3)-(5))如 下：
[0161]
[0162]
[0163]
[0164] 此處，Bb指示用于當前圖片的層間參考。對于GRP參考圖片，P0C和運動信息應(yīng)與 用以產(chǎn)生GRP參考的增強參考圖片的那些相同。
[0165] 預宙義GRP參考圖片的產(chǎn)牛
[0166] 為了保持差分圖片中的像素樣本的合理動態(tài)范圍，如下定義兩個類型的GRP參考 圖片：
[0167]RGhalf=min(max(0, 2 ?P e0_Pb0)，2位深度-1) (10)
[0168] RG_=min(max(0,P e0_Pb0+2位深度 1)，2位深度-1) (11)
[0169] 一般來說，RGhalf和RG_可每當增強層參考圖片和（經(jīng)上取樣）位于同一地點的 參考層圖片兩者可用時產(chǎn)生。
[0170] 為了仿效（7)中的單向GRP預測，
[0171]
'(12):
[0172] 基本上，當RGhalf和Bb用作參考圖片時，可易于仿效（7)中的GRP。
[0173] 對于（8)中的單向GRP預測，
[0174]
[0175] 對此情況，用于1?_和Bb兩者的額外加權(quán)2和偏移-2 1需要以經(jīng)加權(quán)預測 參數(shù)語法用信號表示（[2]布洛斯，"HEVC規(guī)范草案10"）。
[0176] 對于（9)中的單向GRP預測，
[01771
[0178] 對此情況，用于Bb的額外加權(quán)2和偏移-2 1需要以經(jīng)加權(quán)預測參數(shù)語法用信 號表示（[2]布洛斯"HEVC規(guī)范草案10"）。
[0179] -般來說，對于每一增強參考圖片，可產(chǎn)生GRP參考RGhalf和1?_且放入?yún)⒖紙D片 列表中以仿效GRP。然而，當譯碼圖片時使用多少GRP參考圖片可取決于編碼器優(yōu)化。
[0180] GRP參考圖片的標iP,
[0181] 差分圖片存儲在DPB中。如下產(chǎn)生差異圖片參考圖片集（DPRPS):
[0182]?對于RefPicSetLtCurr、RefPicSetLtFoll、RefPicSetStCurrBefore、 RefPicSetStCurrAfter或RefPicSetStFoll中的每一圖片，可將其差異圖片插入到DPRPS 中。
[0183] ?從DPB移除不在DPRPS中的所有其它差異圖片。
[0184] 魯可進一步選擇DPRPS中的條目以決定哪些圖片可用于預測當前圖片。例如，僅 選擇最靠近當前圖片的圖片以形成currDiffRPS。在一個替代方案中，currDiffRPS等于 DPRPS〇
[0185] ?另外，可從DPRPS移除更多的差異圖片。
[0186] ?currDiffRPS用于形式類似于層間參考圖片集合的參考圖片列表。
[0187] ?currDiffRPS中的條目被標記為短期參考圖片。
[0188] 僅高級語法SHVC中的一般化殘余預測的信令和管理
[0189] 本發(fā)明可解決用于界定如何有效地用信號表示和管理GRP參考圖片的解決方案。 此外，在當前SHVC框架中，當對增強層中的當前圖片進行譯碼時產(chǎn)生且使用僅一個層間參 考圖片。本發(fā)明提供如何提供管理多個層間參考圖片的高效方式的描述。
[0190] 本發(fā)明中描述的技術(shù)可產(chǎn)生GRP參考圖片且將其放入增強層的參考圖片列表中。 GRP參考圖片可共享與GRP參考圖片基于其產(chǎn)生的增強層參考圖片相同的運動信息和P0C。 舉例來說，將GRP參考圖片基于其產(chǎn)生的增強層參考圖片的P0C數(shù)目和運動字段復制到GRP 參考圖片。如上文所解釋，P0C可指代與圖片相關(guān)聯(lián)的指示所述圖片的輸出次序的值。P0C 數(shù)目可用以識別參考圖片。運動字段可指代與圖片中的各種塊相關(guān)的運動信息且可包含一 或多個運動向量。GRP參考圖片是基于來自增強層參考圖片的所復制P0C數(shù)目和運動字段 而產(chǎn)生。以此方式產(chǎn)生的GRP參考圖片可存儲在參考圖片列表中。
[0191] 在本發(fā)明中，在圖片方面解釋GRP參考和其它視頻數(shù)據(jù)（例如，增強層參考、待重 構(gòu)的當前圖片等），但所述技術(shù)也可應(yīng)用于視頻數(shù)據(jù)的其它單元（例如，幀等）。舉例來說， 所述技術(shù)可應(yīng)用于GRP參考幀、增強層參考幀、當前幀等。在漸進譯碼的情況下，圖片和幀 可為相同的。
[0192] 圖8是說明根據(jù)本發(fā)明的方面的殘余預測參考圖片的產(chǎn)生的框圖。圖8展示針對 時間T0的基礎(chǔ)層（"BL"）參考810、增強層（"EL"）參考820和GRP參考830。BL參考 810可為來自與增強層（例如，經(jīng)上取樣）相關(guān)聯(lián)的基礎(chǔ)層的參考。如上文所解釋，GRP參 考830可基于對應(yīng)EL參考820而產(chǎn)生。在一個實施例中，EL參考820具有P0C數(shù)目n。BL 參考810也具有相同P0C數(shù)目n。EL參考820具有與其相關(guān)聯(lián)的運動字段，其包含運動向 量。GRP參考830是基于EL參考820而產(chǎn)生以使得其具有與EL參考820相同的P0C數(shù)目 n且具有與EL參考820相同的運動字段。這可通過從EL參考820復制P0C數(shù)目n和運動 字段而完成。GRP參考830可存儲在參考列表870中（例如，用于GRP參考830的特定子集 中）。針對時間T1的EL當前圖片或幀825可基于GRP參考830而重構(gòu)。時間T1晚于時間 TO。GRP參考830可產(chǎn)生但不輸出。舉例來說，GRP參考830可在預測中使用以產(chǎn)生圖片的 重構(gòu)，但自身可不輸出到顯示裝置。
[0193] 在一個實施例中，可存在兩個類型的GRP參考830,且可例如基于等式（10)和 (11)如上文所解釋產(chǎn)生GRP參考圖片830。1^&"、1?_或兩者可取決于實施例而產(chǎn)生。1?^￡ 和RG_可反映不同加權(quán)因數(shù)。舉例來說，RGhalf可反映0? 5的加權(quán)，且RG_可反映1的加 權(quán)；RGhalf可仿效具有加權(quán)因數(shù)〇. 5的塊層級GRP，且RG_可仿效具有加權(quán)因數(shù)1的塊層級 GRP。在一個實施例中，為了仿效等式（7)中所示的具有加權(quán)0.5的塊層級GRP，如（12)中 所示使用RGhalf。在另一實施例中，為了仿效等式（8)中所示的具有加權(quán)1的塊層級GRP，如 等式（13)中所示使用RG_。在又一實施例中，RG_也可用以反映0.5的加權(quán)。舉例來說， 為了仿效等式（9)中所示的具有加權(quán)0.5的塊層級GRP，如表達式（14)中所示使用RG_。
[0194] 使用GRP參考圖片830可允許在僅高級語法SHVC中在塊層級并入經(jīng)加權(quán)殘余預 測。舉例來說，在GRP中使用的加權(quán)因數(shù)已經(jīng)應(yīng)用于可以用于預測的GRP參考圖片830。 GRP參考圖片830可共享與它們從其導出或產(chǎn)生的增強層參考圖片820相同的運動字段和 P0C。使GRP參考830共享與對應(yīng)增強層參考圖片820相同的運動字段和P0C可導致較好 的預測結(jié)果。通常，增強層參考圖片820具有較好質(zhì)量運動字段，并因此，復制EL參考圖片 820的運動字段可提供較好預測結(jié)果。由于GRP參考830圖片具有與EL參考圖片820相同 的POC，因此可存在更多參考圖片可用于同一POC，其可導致較好預測結(jié)果。
[0195] 所述技術(shù)還可用信號表示與GRP參考圖片830相關(guān)的信息。所述技術(shù)可例如在視 頻參數(shù)集（VPS)或SPS中用信號表示是否將使用GRP參考圖片830。所述技術(shù)還可用信號 表示如何產(chǎn)生GRP參考圖片830 (例如，基于哪一短期參考以及用何種加權(quán)類型）。一般來 說，僅一個參考圖片可用于P0C。由于以GRP參考830的產(chǎn)生，多個參考圖片可為可用的，因 此可在位流中用信號表示將使用哪一參考圖片?？蓱?yīng)用一符合約束，即屬于同一圖片的所 有切片應(yīng)共享相同的GRP參考信息。
[0196] 所述技術(shù)可通過產(chǎn)生用于GRP參考圖片的兩個額外RPS子集 RefPicSetGRPRefCurrBefore875a和RefPicSetGRPRefCurrAfter875b而管理GRP參考。 這兩個子集可以與RefPicSetStCurrBefore和RefPicSetStCurrAfter類似的方式管理。僅 GRP參考圖片830可放入這兩個子集中。此外，GRP參考圖片830不可放入其它子集中?？?應(yīng)用GRP參考圖片830可僅用于當前圖片825的符合限制以使得GRP參考圖片830將不存 儲在DPB中。
[0197] 可對GRP參考圖片的使用應(yīng)用各種符合限制。舉例來說，可應(yīng)用GRP參考圖片830 必須用作雙向預測中的一對（GRP參考和層間參考）的符合限制。
[0198] 用于GRP參考管理的技術(shù)也可以應(yīng)用于其它產(chǎn)生的圖片，例如經(jīng)上取樣參考層圖 片。舉例來說，可在位流中，例如在切片標頭中用信號表示如何產(chǎn)生/上取樣位于同一地點 的參考層圖片。可應(yīng)用任何產(chǎn)生的圖片可僅用于當前圖片825的符合限制以使得產(chǎn)生的圖 片將不存儲在DPB中。
[0199] 以此方式，所述技術(shù)可界定如何有效地用信號表示且管理GRP參考圖片830,如下 文進一步所解釋。
[0200] 工具啟用/控制信令
[0201] 所述技術(shù)可在VPS(用于每一增強層）或SPS中用信號表示旗標以指示GRP參考 圖片830是否將用于所述層。舉例來說，以下語法可添加到SPS。
[0202]
[0203] 等于1的grp_ref_enabled_flag指定GRP參考830將在所述層中使用。等于0 的grp_ref_enabled_flag指定GRP參考830將不在所述層中使用。當grp_ref_enabled_ flag不存在時，將其推斷為0。
[0204]GRP參考圖片的信令
[0205] 所述技術(shù)可在位流中，例如在圖片參數(shù)集（PPS)、切片標頭和RPS中用信號表示 GRP參考圖片830的使用信息。下文描述用信號表示GRP參考圖片830的各種實施例。
[0206] 實施例1
[0207] 在一個實施例中，在切片標頭或PPS中用信號表示用于當前圖片825的具有預定 義類型（RGhalf和RG_)的61^參考圖片830的數(shù)目。所述用信號表示的數(shù)目可為RGhalf和 1?_的總數(shù)目（例如，組合的RGhalf和1?_的總數(shù)目）?；蛘撸捎眯盘柋硎具@兩個數(shù)目 (例如，可單獨地用信號表示RGhalf的數(shù)目和RG_的數(shù)目）。在此實施例中，針對當前圖片 825的每一短期參考圖片產(chǎn)生RGhalf和RGOTe且放入RefPicSetGRPRefCurrBefore875a和 RefPicSetGRPRefCurrAfter875b中直到達到GRP參考圖片830的用信號表示的數(shù)目為止。 當針對同一短期參考圖片產(chǎn)生RGhalf和RG_兩者時，將RGhalf放置在RG_之前。此實施例 可僅用信號表示待產(chǎn)生的GRP參考830的數(shù)目，且可產(chǎn)生（例如，如預定義那樣）RGhalf和 RG_兩者直到達到GRP參考830的用信號表示的數(shù)目為止。
[0208] 實施例2
[0209] 在此實施例中，在切片標頭中用信號