示給解碼 器。然而，為了減少計算復雜性和存儲器存取要求，可將GRP塊的運動向量舍入到整數(shù)像素 位置，如2013年3月8日申請的第61/775, 352號美國臨時申請案、2013年3月19日申請 的第61/803, 368號美國臨時申請案、2013年6月7日申請的第61/832, 623號美國臨時申 請案和2014年1月7日申請的第14/149,260號美國申請案中描述，以上申請案的揭示內(nèi) 容以全文引用的方式并入本文。
[0271] 在本發(fā)明中，各種實施例是針對改善以下方面：
[0272] 魯在[7]阿民婁中介紹的GRP參考的產(chǎn)生并不非常高效，但在計算復雜性方面是 復雜的。
[0273] ?在將GRP參考插入到增強層的參考列表中之后，GRP參考的使用不受約束，其導 致在譯碼性能和實施成本方面的較低效率。
[0274] 魯由于高計算復雜性和高存儲器存取要求，在GRP參考產(chǎn)生期間不需要運動補償 內(nèi)插。雖然運動向量可舍入到整數(shù)像素位置，但無法完全解決問題，因為整數(shù)像素準確性運 動向量仍可導致色度分量的運動補償內(nèi)插，尤其是關(guān)于呈4:2:0顏色格式的視頻內(nèi)容。
[0275] 根據(jù)本發(fā)明的某些方面，GRP參考圖片是通過位于同一地點的基礎(chǔ)層塊以及增強 層參考與基礎(chǔ)層參考之間的運動補償差直接產(chǎn)生，而不需要任何額外加權(quán)因數(shù)。在一個實 施例中，GRP參考圖片是根據(jù)等式（10)和（11)產(chǎn)生，而不需要并入額外加權(quán)因數(shù)（例如，僅 提供加權(quán)因數(shù)〇. 5和1，且不提供其它加權(quán)因數(shù)）。在某些實施例中，以全文引用的方式并 入本文的2013年1月30日申請的第61/758, 723號美國臨時申請案中描述的3分接頭或4 分接頭上取樣/平滑濾波器可以用于導出增強層參考與基礎(chǔ)層參考之間的運動補償差。在 此類實施例中，可如下產(chǎn)生GRP參考。當位于同一地點的基礎(chǔ)層塊不具有運動向量或經(jīng)幀 內(nèi)譯碼時，基礎(chǔ)層的經(jīng)上取樣/經(jīng)濾波重構(gòu)用于GRP參考中的位于同一地點的塊。替代地， 對于基礎(chǔ)塊假定例如零運動的默認運動向量以產(chǎn)生GRP參考中的位于同一地點的塊。替代 地，來自相鄰塊的運動向量用以產(chǎn)生GRP參考中的位于同一地點的塊。
[0276] 如上所提到，為了產(chǎn)生GRP圖片中的塊，通過位于同一地點的基礎(chǔ)層塊的經(jīng)按比 例縮放MV來指示基礎(chǔ)層中的位于同一地點的基礎(chǔ)層塊的參考圖片。隨后，將增強層中的對 應參考圖片設定成屬于與基礎(chǔ)層的參考圖片相同的存取單元的增強層圖片。有可能希望的 增強層和/或參考層可不存在于經(jīng)譯碼位流中。當通過用以形成GRP圖片中的當前塊的位 于同一地點的基礎(chǔ)塊（經(jīng)幀間譯碼）的MV指示的增強層中的兩個參考中的一者不可用時， 通過使用單向預測產(chǎn)生塊。當位于同一地點的基礎(chǔ)塊（經(jīng)幀間譯碼）的兩個參考在增強層 中不可用時，塊可被視為經(jīng)幀內(nèi)譯碼，且以下操作中的任一者可適用：
[0277] ?如果位于同一地點的基礎(chǔ)塊（經(jīng)幀間譯碼）的參考不可用，那么在同一參考列 表中的增強層和基礎(chǔ)層兩者中可用的第一參考可用以導出運動補償差。在此情況下，應基 于時間距離（例如，P0C差）按比例縮放新參考的運動向量。
[0278] ?使用位于同一地點的基礎(chǔ)塊以形成GRP參考圖片中的當前塊。
[0279] GRP參考圖片的運動字段可以與層間參考圖片（經(jīng)上取樣的位于同一地點的基礎(chǔ) 圖片）的方式相同的方式產(chǎn)生。用以導出增強參考與基礎(chǔ)層參考之間的運動補償差的運動 補償過程可基于GRP參考圖片的所產(chǎn)生運動字段且基于運動字段中的最小單元大小的層 級，例如16x16塊的層級。
[0280] 當將GRP參考插入?yún)⒖剂斜碇袝r：
[0281] ?GRP參考圖片可經(jīng)標記為短期參考且可具有非零運動向量。
[0282] ?GRP參考圖片可經(jīng)標記為長期參考且必須具有零運動。
[0283] ?可應用GRP參考圖片可僅用于當前增強圖片且將不放入DPB中的約束。
[0284] 魯GRP參考圖片可僅用作單向預測的源的約束，意味著其無法成為雙向預測的元 素。
[0285] 當初始化增強參考列表時，GRP參考圖片可恰好放置在層間參考圖片之前。替代 地，GRP參考圖片代替層間參考圖片。類似于GRP參考，可通過以基礎(chǔ)層運動和增強參考產(chǎn) 生用于增強層的新參考幀而仿效例如2013年1月7日申請的第61/749, 865號美國臨時申 請案、2012年12月7日申請的第61/734,920號美國臨時申請案和2013年1月4日申請的 第61/749, 077號美國臨時申請案中描述的推斷模式等一些其它低層級工具，以上申請案 中的每一者的揭示內(nèi)容以全文引用的方式并入本文。
[0286] 當產(chǎn)生GRP參考圖片時，可使用經(jīng)舍入的運動向量以使得對于明度和色度分量兩 者不需要運動補償內(nèi)插。在一個實施例中，明度和色度分量共享同一經(jīng)舍入的運動向量。當 視頻內(nèi)容呈4:2:0顏色格式時，以雙像素準確性舍入運動向量以保證對于色度分量不需要 運動補償內(nèi)插。當視頻內(nèi)容呈4:2:2顏色格式時，以雙像素準確性舍入運動向量的水平分 量，同時以整數(shù)像素準確性舍入運動向量的垂直分量。
[0287] 在另一實施例中，同一運動向量的不同經(jīng)舍入的版本用于明度和色度分量以確保 不需要運動補償內(nèi)插。例如對于呈4:2:0顏色格式的視頻，塊的運動向量（以1/4像素準 確性且以32位表示）是（MVx，MVy)。對于明度分量，經(jīng)舍入的MV可為（(MVx+4)&0xFFFFFF FC, (MVy+4)&0xFFFFFFFC)。對于色度分量，經(jīng)舍入的MV可為（(MVx+8)&0xFFFFFFF8, (MVy+8 )&0xFFFFFFF8)。應注意此處"&"指示逐位邏輯運算"與"。
[0288] 運動向量可始終朝向零、正無限處或負無限處舍入。替代地，運動向量可基于其值 而朝向正/負無限處舍入。舉例來說，運動向量的垂直分量當其為正時朝向正無限處舍入， 且當其為負時朝向負無限處舍入。類似地，運動向量的水平分量可當其為正時朝向正無限 處舍入，且當其為負時朝向負無限處舍入。
[0289] GRP參考圖片產(chǎn)生
[0290] 在此實施例中，GRP參考圖片是基于經(jīng)重構(gòu)位于同一地點的基礎(chǔ)層塊而產(chǎn)生。假 設IB指示經(jīng)上取樣的位于同一地點的基礎(chǔ)圖片。假設IB的運動字段已通過與用于產(chǎn)生層 間參考的運動字段的運動映射相同的運動映射產(chǎn)生。假設B表示IB中的PU，MV表示B中 的運動向量，且Hb分別指示增強參考和經(jīng)上取樣/平滑基礎(chǔ)參考。GRP參考中的位于 同一地點的塊可如下產(chǎn)生：
[0291]Rgrp=B+w?MV(Re-Rrb)， (15)
[0292] 其中MV(R)指示具有運動向量MV的參考R中的參考塊。w指示經(jīng)加權(quán)因數(shù)，且w 的典型值可為1。w的值是基于切片類型或其它切片層級或更高層級信息而預定義的。w也 可以在位流中用信號表示。當在位流中用信號表示時，w可基于預定義值而經(jīng)量化。額外 濾波可應用于B、艮、R'b、MV(K-R'b)或任一組合。當塊B具有兩個運動向量時，可使用 (15)的雙向形式。當塊B經(jīng)幀內(nèi)譯碼時，MV(R)可被視為0以使得RapB。產(chǎn)生的GRP參 考可共享與位于同一地點的基礎(chǔ)圖片的P0C相同的P0C。
[0293] 應認識到，取決于實例，本文中所描述的技術(shù)中的任一者的某些動作或事件可用 不同序列執(zhí)行，可添加、合并或全部省略（例如，實踐所述技術(shù)并不需要所有的所描述動作 或事件）。此外，在某些實例中，可（例如）通過多線程處理、中斷處理或多個處理器同時而 非順序地執(zhí)行動作或事件。
[0294] 可使用多種不同技術(shù)及技藝中的任一者來表示本文中所揭示的信息及信號。舉例 來說，可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來表示可在整個 以上描述中參考的數(shù)據(jù)、指令、命令、信息、信號、位、符號及碼片。
[0295] 結(jié)合本文揭示的實施例所描述的各種說明性邏輯塊、模塊、電路和算法步驟可實 施為電子硬件、計算機軟件或兩者的組合。為清晰地說明硬件與軟件的此可互換性，上文已 大體就其功能性而言描述了各種說明性組件、塊、模塊、電路和步驟。此類功能性是實施為 硬件還是軟件取決于特定應用及強加于整個系統(tǒng)的設計約束。所屬領(lǐng)域的技術(shù)人員可針對 每一特定應用以不同方式來實施所描述的功能性，但這樣的實施方案決策不應被解釋為會 導致脫離本發(fā)明的范圍。
[0296] 本文中所描述的技術(shù)可以硬件、軟件、固件或其任一組合來實施。所述技術(shù)可實施 于多種裝置中的任一者中，例如通用計算機、無線通信裝置手持機或集成電路裝置，其具有 包含在無線通信裝置手持機及其它裝置中的應用的多種用途。被描述為模塊或組件的任何 特征可共同實施于集成的邏輯裝置中或單獨實施為離散但可互操作的邏輯裝置。如果以軟 件實施，那么所述技術(shù)可至少部分地由包括程序代碼的計算機可讀數(shù)據(jù)存儲媒體來實現(xiàn)， 所述程序代碼包含在執(zhí)行時執(zhí)行上文所描述的方法中的一或多者的指令。計算機可讀數(shù)據(jù) 存儲媒體可形成計算機程序產(chǎn)品的一部分，所述計算機程序產(chǎn)品可包含封裝材料。計算機 可讀媒體可包括存儲器或數(shù)據(jù)存儲媒體，例如隨機存取存儲器（RAM)(例如，同步動態(tài)隨機 存取存儲器（SDRAM))、只讀存儲器（R0M)、非易失性隨機存取存儲器（NVRAM)、電可擦除可 編程只讀存儲器（EEPR0M)、快閃存儲器、磁性或光學數(shù)據(jù)存儲媒體等。另外或作為替代，所 述技術(shù)可至少部分地由計算機可讀通信媒體來實現(xiàn)，所述計算機可讀通信媒體以指令或數(shù) 據(jù)結(jié)構(gòu)的形式載運或傳送程序代碼且可由計算機存取、讀取和/或執(zhí)行（例如，傳播的信號 或波）。
[0297] 程序代碼可由處理器執(zhí)行，所述處理器可包含一或多個處理器，例如一或多個數(shù) 字信號處理器（DSP)、通用微處理器、專用集成電路（ASIC)、現(xiàn)場可編程邏輯陣列（FPGA)， 或其它等效集成或離散邏輯電路。此處理器可經(jīng)配置以執(zhí)行本發(fā)明中描述的技術(shù)中的任一 者。通用處理器可為微處理器；但在替代方案中，處理器可為任何常規(guī)處理器、控制器、微 控制器或狀態(tài)機。還可將處理器實施為計算裝置的組合，例如DSP與微處理器的組合、多個 微處理器、一或多個微處理器與DSP核心的聯(lián)合，或任何其它此類配置。因此，如本文中所 使用的術(shù)語"處理器"可指代上述結(jié)構(gòu)中的任一者、上述結(jié)構(gòu)的任何組合，或適用于實施本 文中所描述的技術(shù)的任何其它結(jié)構(gòu)或設備。另外，在一些方面中，可將本文中所描述的功能 性提供于經(jīng)配置以用于編碼和解碼的專用軟件模塊或硬件模塊內(nèi)或并入組合的視頻編碼 器-解碼器（編解碼器）中。
[0298] 已描述本發(fā)明的各種實施例。這些和其它實施例在所附權(quán)利要求書的范圍內(nèi)。
【主權(quán)項】
1. 一種用于對視頻信息進行解碼的設備，所述設備包括： 存儲器單元，其經(jīng)配置以存儲增強層的至少一個參考圖片列表，所述至少一個參考圖 片列表包括殘余預測參考圖片信息；以及 處理器，其操作性地耦合到所述存儲器單元且經(jīng)配置以： 對關(guān)于殘余預測參考圖片產(chǎn)生的用信號表示的信息進行解碼； 基于增強層參考圖片和所述經(jīng)解碼用信號表示的信息而產(chǎn)生殘余預測參考圖片以使 得所述產(chǎn)生的殘余預測參考圖片具有與所述殘余預測參考圖片從其產(chǎn)生的所述增強層參 考圖片相同的運動字段和相同的圖片次序計數(shù)POC;以及 將所述產(chǎn)生的殘余預測參考圖片存儲在所述增強層的所述至少一個參考圖片列表中。2. 根據(jù)權(quán)利要求1所述的設備，其中圖片的多個切片具有相同的所述產(chǎn)生的殘余預測 參考圖片。3. 根據(jù)權(quán)利要求1所述的設備，其中所述用信號表示的信息包括指示是否使用殘余預 測參考圖片的旗標，且其中所述處理器進一步經(jīng)配置以當所述旗標指示使用殘余預測參考 圖片時產(chǎn)生所述殘余預測參考圖片。4. 根據(jù)權(quán)利要求1所述的設備，其中所述處理器進一步經(jīng)配置以將所述產(chǎn)生的殘余預 測參考圖片存儲在包含僅殘余預測參考圖片的參考參數(shù)集RPS子集中。5. 根據(jù)權(quán)利要求1所述的設備，其中所述用信號表示的信息包括將產(chǎn)生的殘余預測參 考圖片的數(shù)目。6. 根據(jù)權(quán)利要求1所述的設備，其中所述殘余預測參考圖片與選自多個類型的殘余預 測參考的類型相關(guān)聯(lián)。7. 根據(jù)權(quán)利要求6所述的設備，其中所述用信號表示的信息包括指示是否產(chǎn)生所述殘 余預測參考圖片的一或多個語法元素，且其中所述多個類型的殘余預測參考中的僅一者可 用于將產(chǎn)生的所述殘余預測參考圖片。8. 根據(jù)權(quán)利要求6所述的設備，其中所述多個類型的殘余預測參考圖片中的至少兩個 類型可用，且所述用信號表示的信息包括指示是否產(chǎn)生所述殘余預測參考圖片且指示所述 殘余預測參考圖片的所述至少兩個類型中的一者的一或多個語法元素。9. 根據(jù)權(quán)利要求1所述的設備，其中所述處理器進一步經(jīng)配置以： 基于所述殘余預測參考圖片產(chǎn)生所述增強層的經(jīng)重構(gòu)圖片。10. 根據(jù)權(quán)利要求9所述的設備，其中所述處理器進一步經(jīng)配置以： 產(chǎn)生所述增強層的參考層的經(jīng)上取樣的位于同一地點的參考圖片；以及 基于所述殘余預測參考圖片和所述參考層的所述經(jīng)上取樣的位于同一地點的參考圖 片而產(chǎn)生所述增強層的所述經(jīng)重構(gòu)圖片。11. 根據(jù)權(quán)利要求9所述的設備，其中所述殘余預測參考圖片不放入經(jīng)解碼圖片緩沖 器DPB中。12. 根據(jù)權(quán)利要求1所述的設備，其中所述用信號表示的信息是在切片層級或更高層 級指定。13. 根據(jù)權(quán)利要求9所述的設備，其中所述處理器進一步經(jīng)配置以產(chǎn)生所述增強層的 所述經(jīng)重構(gòu)圖片而不需要將加權(quán)因數(shù)應用于與所述增強層相關(guān)聯(lián)的參考層中的對應圖片 的殘余。14. 根據(jù)權(quán)利要求1所述的設備，其中所述用信號表示的信息是在選自以下各者的層 級指定：圖片參數(shù)集PPS、視頻參數(shù)集VPS、序列參數(shù)集SPS、參考參數(shù)集RPS，或切片標頭。15. 根據(jù)權(quán)利要求1所述的設備，其中所述設備選自由以下各者中的一或多者組成的 群組：桌上型計算機、筆記本計算機、膝上型計算機、平板計算機、機頂盒、電話手持機、智能 電話、智能板、電視、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺，和視頻流式傳輸裝 置。16. -種對視頻信息進行解碼的方法，所述方法包括： 使用操作性地耦合到存儲器單元的處理器對關(guān)于殘余預測參考圖片產(chǎn)生的用信號表 示的信息進行解碼； 基于增強層的增強層參考圖片和所述經(jīng)解碼用信號表示的信息而產(chǎn)生殘余預測參考 圖片以使得所述產(chǎn)生的殘余預測參考圖片具有與所述殘余預測參考圖片從其產(chǎn)生的所述 增強層參考圖片相同的運動字段和相同的圖片次序計數(shù)POC ;以及 將所述產(chǎn)生的殘余預測參考圖片存儲在所述存儲器單元中的所述增強層的至少一個 參考圖片列表中。17. 根據(jù)權(quán)利要求16所述的方法，其中所述殘余預測參考圖片與選自多個類型的殘余 預測參考的類型相關(guān)聯(lián)。18. 根據(jù)權(quán)利要求17所述的方法，其中所述用信號表示的信息包括指示是否產(chǎn)生所述 殘余預測參考圖片的一或多個語法元素，且其中所述多個類型的殘余預測參考中的僅一者 可用于將產(chǎn)生的所述殘余預測參考圖片。19. 根據(jù)權(quán)利要求17所述的方法，其中所述多個類型的殘余預測參考圖片中的至少兩 個類型可用，且所述用信號表示的信息包括指示是否產(chǎn)生所述殘余預測參考圖片且指示所 述殘余預測參考圖片的所述至少兩個類型中的一者的一或多個語法元素。20. -種用于對視頻信息進行編碼的設備，所述設備包括： 存儲器單元，其經(jīng)配置以存儲與可縮放視頻譯碼中的視頻信息的一或多個層相關(guān)聯(lián)的 至少一個參考圖片列表；以及 處理器，其操作性地耦合到所述存儲器單元且經(jīng)配置以： 對關(guān)于至少部分地基于與增強層相關(guān)聯(lián)的對應增強層參考圖片產(chǎn)生殘余預測參考圖 片的信息進行編碼，所述殘余預測參考圖片經(jīng)配置以具有與所述殘余預測參考圖片將從其 產(chǎn)生的所述增強層參考圖片相同的運動字段和相同的圖片次序計數(shù)POC ;以及 在位流中用信號表示所述經(jīng)編碼信息。21. 根據(jù)權(quán)利要求20所述的設備，其中所述處理器進一步經(jīng)配置以應用圖片的多個切 片具有相同的所述產(chǎn)生的殘余預測參考圖片的約束。22. 根據(jù)權(quán)利要求20所述的設備，其中所述經(jīng)編碼信息包括將產(chǎn)生的殘余預測參考圖 片的數(shù)目。23. 根據(jù)權(quán)利要求20所述的設備，其中所述殘余預測參考圖片與選自多個類型的殘余 預測參考的類型相關(guān)聯(lián)。24. 根據(jù)權(quán)利要求23所述的設備，其中所述多個類型包含表示0. 5的加權(quán)因數(shù)的第一 類型和表示1的加權(quán)因數(shù)的第二類型。25. 根據(jù)權(quán)利要求23所述的設備，其中所述經(jīng)編碼信息包括指示是否產(chǎn)生所述殘余預 測參考圖片的一或多個語法元素，且其中所述多個類型的殘余預測參考中的僅一者可用于 將產(chǎn)生的所述殘余預測參考圖片。26. 根據(jù)權(quán)利要求23所述的設備，其中所述多個類型的殘余預測參考圖片中的至少兩 個類型可用，且所述經(jīng)編碼信息包括指示是否產(chǎn)生所述殘余預測參考圖片且指示所述殘余 預測參考圖片的所述至少兩個類型中的一者的一或多個語法元素。27. 根據(jù)權(quán)利要求20所述的設備，其中所述經(jīng)編碼信息包括指示是否基于與所述增強 層相關(guān)聯(lián)的參考圖片列表中的第一短期參考圖片產(chǎn)生所述殘余預測參考圖片的一或多個 語法元素。28. 根據(jù)權(quán)利要求20所述的設備，其中所述經(jīng)編碼信息是在選自以下各者的層級指 定：圖片參數(shù)集PPS、視頻參數(shù)集VPS、序列參數(shù)集SPS、參考參數(shù)集RPS，或切片標頭。29. -種對視頻信息進行編碼的方法，所述方法包括： 使用操作性地耦合到存儲器單元的處理器對關(guān)于至少部分地基于與增強層相關(guān)聯(lián)的 對應增強層參考圖片產(chǎn)生殘余預測參考圖片的信息進行編碼， 其中所述殘余預測參考圖片經(jīng)配置以具有與所述殘余預測參考圖片將從其產(chǎn)生的所 述增強層參考圖片相同的運動字段和相同的圖片次序計數(shù)POC，且 其中所述存儲器單元經(jīng)配置以存儲與可縮放視頻譯碼中的視頻信息的一或多個層相 關(guān)聯(lián)的至少一個參考圖片列表；以及 在位流中用信號表示所述經(jīng)編碼信息。30. 根據(jù)權(quán)利要求29所述的方法，其中所述殘余預測參考圖片與選自多個類型的殘 余預測參考的類型相關(guān)聯(lián)，且其中所述多個類型的殘余預測參考圖片中的至少兩個類型可 用，且所述經(jīng)編碼信息包括指示是否產(chǎn)生所述殘余預測參考圖片且指示所述殘余預測參考 圖片的所述至少兩個類型中的一者的一或多個語法元素。
【專利摘要】根據(jù)某些方面的用于對視頻信息進行解碼的設備包含存儲器單元和操作性地耦合到所述存儲器單元的處理器。所述存儲器單元經(jīng)配置以存儲增強層的至少一個參考圖片列表，所述至少一個參考圖片列表包括殘余預測參考圖片信息。所述處理器經(jīng)配置以：對關(guān)于殘余預測參考圖片產(chǎn)生的用信號表示的信息進行解碼；基于增強層參考圖片和所述經(jīng)解碼用信號表示的信息而產(chǎn)生殘余預測參考圖片以使得所述產(chǎn)生的殘余預測參考圖片具有與所述殘余預測參考圖片從其產(chǎn)生的所述增強層參考圖片相同的運動字段和相同的圖片次序計數(shù)POC；以及將所述產(chǎn)生的殘余預測參考圖片存儲在所述增強層的所述至少一個參考圖片列表中。
【IPC分類】H04N19/136, H04N19/597, H04N19/30, H04N19/105, H04N19/187
【公開號】CN105052142
【申請?zhí)枴緾N201480017850
【發(fā)明人】李想, 王益魁, 陳穎, 陳建樂, 阿達許·克里許納·瑞瑪蘇布雷蒙尼安, 馬爾塔·卡切維奇
【申請人】高通股份有限公司
【公開日】2015年11月11日
【申請日】2014年4月2日
【公告號】US20140301466, WO2014165613A1