VC擴(kuò)展中時。
[0034] 在多環(huán)路解碼的情況下，可使用差域運(yùn)動補(bǔ)償來取代殘差預(yù)測。在SVC中，可使用 像素域譯碼或差域譯碼來譯碼增強(qiáng)層。在像素域譯碼中，對于非SVCHEVC層，可譯碼用于 增強(qiáng)層像素的輸入像素。另一方面，在差域譯碼中，可譯碼用于增強(qiáng)層的差值。所述差值可 為用于增強(qiáng)層的輸入像素與對應(yīng)的經(jīng)縮放基礎(chǔ)層經(jīng)重建像素之間的差。此些差值可用于對 差域運(yùn)動補(bǔ)償?shù)倪\(yùn)動補(bǔ)償中。
[0035] 對于使用差域的幀間譯碼，基于增強(qiáng)層參考圖片中的對應(yīng)經(jīng)預(yù)測塊樣本與經(jīng)縮放 基礎(chǔ)層參考圖片中的對應(yīng)經(jīng)預(yù)測塊樣本之間的差值來確定當(dāng)前經(jīng)預(yù)測塊。所述差值可被稱 為差預(yù)測塊。將位于相同位置的基礎(chǔ)層經(jīng)重建樣本添加到差預(yù)測塊以便獲得增強(qiáng)層預(yù)測樣 本。
[0036] 然而，在層間預(yù)測中使用差域運(yùn)動補(bǔ)償會引入兩組運(yùn)動估計及運(yùn)動補(bǔ)償，因為運(yùn) 動估計及運(yùn)動補(bǔ)償常常用于像素域及差域兩者。引入兩組運(yùn)動估計及運(yùn)動補(bǔ)償可導(dǎo)致較高 的緩沖器及計算成本，這對于編碼器或解碼器來說可能不實際。另外，譯碼兩組運(yùn)動向量可 降低譯碼效率，因為在兩組運(yùn)動向量具有不同特性且在譯碼單元（CU)層級處交錯時，運(yùn)動 場可變得不規(guī)則。此外，差域中的運(yùn)動估計需要基礎(chǔ)層及增強(qiáng)層共享相同運(yùn)動。此外，差域 運(yùn)動補(bǔ)償不與單環(huán)路解碼一起工作，因為兩個層之間的差分圖片的導(dǎo)出是基于每一層的充 分經(jīng)重建圖片。因此，在使用差域運(yùn)動補(bǔ)償時在具有兩組運(yùn)動估計及運(yùn)動補(bǔ)償中避免冗余 將是有利的。而且，在單環(huán)路解碼中擴(kuò)展差域運(yùn)動補(bǔ)償將是有利的。
[0037] 本發(fā)明中描述的技術(shù)可解決與SVC中的層間殘差預(yù)測及差域運(yùn)動補(bǔ)償相關(guān)的問 題?？稍谝话慊瘹埐铑A(yù)測（GRP)架構(gòu)內(nèi)應(yīng)用所述技術(shù)。如上文所解釋，層間殘差預(yù)測在預(yù) 測當(dāng)前視頻單元（例如，塊或幀）中使用參考層的殘差。在一般化殘差預(yù)測中，當(dāng)前視頻單 元的層間殘差預(yù)測可基于當(dāng)前層的殘差、當(dāng)前層的時間預(yù)測及參考層的殘差。參考層的殘 差可通過加權(quán)因子來調(diào)整。加權(quán)因子可基于且包含各種類型的信息。此類信息的實例可包 含加權(quán)候選者的數(shù)目、加權(quán)步長、加權(quán)索引及加權(quán)表。
[0038] 根據(jù)本發(fā)明的方面的GRP框架可通過并入加權(quán)因子而適應(yīng)各種類型的殘差預(yù)測。 恰當(dāng)?shù)卣{(diào)整加權(quán)因子可導(dǎo)致用于殘差預(yù)測的顯著譯碼增益。另外，在GRP框架中，可使用不 必是傳統(tǒng)的殘差預(yù)測中的基礎(chǔ)層的參考層來執(zhí)行殘差預(yù)測。舉例來說，可從當(dāng)前增強(qiáng)層導(dǎo) 出參考層。在加權(quán)因子被設(shè)定成1時，GRP還可適應(yīng)傳統(tǒng)的殘差預(yù)測。GRP框架可與單環(huán)路 解碼及多環(huán)路解碼兩者一起使用。另外，在GRP框架中，差域中的運(yùn)動估計可不是必需的， 且因此，當(dāng)前層與增強(qiáng)層不必共享用于運(yùn)動估計的相同運(yùn)動。GRP框架可適用于許多不同類 型的殘差預(yù)測，且如方程式（1)中界定的傳統(tǒng)的殘差預(yù)測及差域運(yùn)動補(bǔ)償是使用GRP框架 的兩種特定情形。所述技術(shù)可改善ffiVC的可縮放擴(kuò)展中的運(yùn)動補(bǔ)償?shù)男阅?，且還可適用于 HEVC的3D視頻譯碼擴(kuò)展。
[0039] 下文參考附圖更充分地描述新穎系統(tǒng)、設(shè)備及方法的各種方面。然而，本發(fā)明可以 許多不同形式來體現(xiàn)，且不應(yīng)將其解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 確切地說，提供這些方面以使得本發(fā)明將為透徹且完整的，且將向所屬領(lǐng)域的技術(shù)人員充 分傳達(dá)本發(fā)明的范圍。基于本文中的教示，所屬領(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定 涵蓋無論是獨立于本發(fā)明的任何其它方面而實施還是與之組合而實施的本文中所揭示的 新穎系統(tǒng)、設(shè)備及方法的任何方面。舉例來說，可使用本文中闡述的任何數(shù)目的方面來實施 設(shè)備或?qū)嵺`方法。另外，本發(fā)明的范圍既定涵蓋使用除本文中所闡述的本發(fā)明的各種方面 之外的或不同于本文中所闡述的本發(fā)明的各種方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性來 實踐的此設(shè)備或方法。應(yīng)理解，可通過權(quán)利要求的一或多個要素來體現(xiàn)本文中所揭示的任 何方面。
[0040] 盡管本文描述了特定方面，但這些方面的許多變化及排列屬于本發(fā)明的范圍。盡 管提到了優(yōu)選方面的一些益處及優(yōu)點，但本發(fā)明的范圍不既定限于特定益處、用途或目的。 確切地說，本發(fā)明的方面既定廣泛地適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)及發(fā)射協(xié)議，其 中的一些是作為實例而在圖中以及在優(yōu)選方面的以下描述中加以說明。詳細(xì)描述及圖式僅 說明本發(fā)明，而不限制由所附權(quán)利要求書及其等效者界定的本發(fā)明的范圍。
[0041 ]視頻編碼及解碼系統(tǒng)
[0042] 圖1是說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼及解碼系統(tǒng) 的框圖。如圖1所示，系統(tǒng)10包含源裝置12,所述源裝置12提供待在稍后時間由目的地裝 置14解碼的經(jīng)編碼視頻數(shù)據(jù)。明確地說，源裝置12將視頻數(shù)據(jù)經(jīng)由計算機(jī)可讀媒體16提 供到目的地裝置14。源裝置12及目的地裝置14可包括廣泛范圍的裝置中的任一者，包含 桌上型計算機(jī)、筆記型（例如，膝上型）計算機(jī)、平板計算機(jī)、機(jī)頂盒、例如所謂的"智能"電 話等電話手持機(jī)、所謂的"智能"板、電視、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制 臺、視頻流式發(fā)射裝置或其類似者。在一些情況下，源裝置12及目的地裝置14可經(jīng)配備以 用于無線通信。
[0043]目的地裝置14可經(jīng)由計算機(jī)可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計算機(jī) 可讀媒體16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任何類型 的媒體或裝置。在一個實例中，計算機(jī)可讀媒體16可包括使得源裝置12能夠?qū)崟r地將經(jīng) 編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14的通信媒體。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)例如無線通 信協(xié)議等通信標(biāo)準(zhǔn)加以調(diào)制，且發(fā)射到目的地裝置14。通信媒體可包括任何無線或有線通 信媒體，例如射頻（RF)頻譜或一或多個物理傳輸線。通信媒體可能形成分組網(wǎng)絡(luò)（例如局 域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng)）的一部分。通信媒體可包含路由器、交換器、基站， 或可用于促進(jìn)從源裝置12到目的地裝置14的通信的任何其它裝備。
[0044] 在一些實例中，可將經(jīng)編碼數(shù)據(jù)從輸出接口 22輸出到存儲裝置（未展示）。類似 地，可通過輸入接口 28從存儲裝置存取經(jīng)編碼數(shù)據(jù)。存儲裝置可包含多種分布式或本地存 取的數(shù)據(jù)存儲媒體中的任一者，例如硬盤驅(qū)動器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲器、易失 性或非易失性存儲器或任何其它用于存儲經(jīng)編碼的視頻數(shù)據(jù)的合適的數(shù)字存儲媒體。在另 一實例中，存儲裝置可對應(yīng)于文件服務(wù)器或可存儲源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中 間存儲裝置。目的地裝置14可經(jīng)由流式發(fā)射或下載從存儲裝置存取所存儲的視頻數(shù)據(jù)。文 件服務(wù)器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何 類型的服務(wù)器。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器（例如，用于網(wǎng)站）、FTP服務(wù)器、網(wǎng)絡(luò)附接 存儲（NAS)裝置及本地磁盤驅(qū)動器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接（包含因特 網(wǎng)連接）來存取經(jīng)編碼視頻數(shù)據(jù)。此可包含適合于存取存儲在文件服務(wù)器上的經(jīng)編碼視頻 數(shù)據(jù)的無線信道（例如，Wi-Fi連接）、有線連接（例如，DSL、電纜調(diào)制解調(diào)器等）或兩者的 組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置的發(fā)射可為流式發(fā)射、下載發(fā)射或其組合。
[0045] 本發(fā)明的技術(shù)不必限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于支持多種多媒體應(yīng)用 中的任一者的視頻譯碼，例如空中協(xié)議電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)流 式視頻發(fā)射（例如，動態(tài)自適應(yīng)HTTP流式發(fā)射（DASH))、經(jīng)編碼到數(shù)據(jù)存儲媒體上的數(shù)字視 頻、存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些實例中，系統(tǒng)10可經(jīng)配 置以支持單向或雙向視頻發(fā)射，以支持例如視頻流式發(fā)射、視頻回放、視頻廣播及/或視頻 電話等應(yīng)用。
[0046] 在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20及輸出接口 22。目的 地裝置14包含輸入接口 28、視頻解碼器30及顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻 編碼器20可經(jīng)配置以應(yīng)用用于對包含符合多個標(biāo)準(zhǔn)或標(biāo)準(zhǔn)擴(kuò)展的視頻數(shù)據(jù)的位流進(jìn)行譯 碼的技術(shù)。在其它實例中，源裝置及目的地裝置可包含其它組件或布置。舉例來說，源裝置 12可從外部視頻源18 (例如外部相機(jī)）接收視頻數(shù)據(jù)。同樣，目的地裝置14可與外部顯示 裝置介接，而非包含集成顯示裝置。
[0047] 圖1所說明的系統(tǒng)10只是一個實例。用于確定當(dāng)前塊的運(yùn)動向量預(yù)測符的候選 列表的候選者的技術(shù)可由任何數(shù)字視頻編碼及/或解碼裝置執(zhí)行。盡管本發(fā)明的技術(shù)一般 通過視頻編碼裝置來執(zhí)行，但是所述技術(shù)還可通過視頻編碼器/解碼器（通常被稱作"編 碼解碼器（CODEC)"）來執(zhí)行。此外，本發(fā)明的技術(shù)還可通過視頻預(yù)處理器來執(zhí)行。源裝置 12及目的地裝置14僅為此些譯碼裝置的實例，其中源裝置12產(chǎn)生用于發(fā)射到目的地裝置 14的經(jīng)譯碼視頻數(shù)據(jù)。在一些實例中，裝置12、14可以實質(zhì)上對稱的方式操作以使得裝置 12、14中的每一者包含視頻編碼及解碼組件。因此，系統(tǒng)10可支持視頻裝置12、14之間的 單向或雙向視頻發(fā)射，例如用于視頻流式發(fā)射、視頻回放、視頻廣播或視頻電話。
[0048] 源裝置12的視頻源18可包含視頻俘獲裝置，例如視頻攝像機(jī)、含有先前所俘獲視 頻的視頻存檔及/或用于從視頻內(nèi)容提供者接收視頻的視頻饋送接口。作為另一替代方 案，視頻源18可產(chǎn)生基于計算機(jī)圖形的數(shù)據(jù)作為源視頻，或直播視頻（livevideo)、存檔 視頻與計算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源18為視頻攝像機(jī)，那么源裝 置12及目的地裝置14可形成所謂的攝像機(jī)電話或視頻電話。然而，如上文所提及，本發(fā)明 中所描述的技術(shù)一般來說可適用于視頻譯碼，且可應(yīng)用于無線及/或有線應(yīng)用。在每一情 況下，可由視頻編碼器20來編碼經(jīng)俘獲的、經(jīng)預(yù)先俘獲的或計算機(jī)產(chǎn)生的視頻。經(jīng)編碼視 頻信息可接著通過輸出接口 22輸出到計算機(jī)可讀媒體16上。
[0049] 計算機(jī)可讀媒體16可包含瞬時媒體，例如無線廣播或有線網(wǎng)絡(luò)發(fā)射，或存儲媒體 (即，非暫時性存儲媒體），例如硬盤、快閃驅(qū)動器、壓縮光盤、數(shù)字影音光盤、藍(lán)光光盤或其 它計算機(jī)可讀媒體。在一些實例中，網(wǎng)絡(luò)服務(wù)器（未展示）可例如經(jīng)由網(wǎng)絡(luò)發(fā)射、直接有線 通信等從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置14。類似 地，媒體生產(chǎn)設(shè)施（例如光盤沖壓設(shè)施）的計算裝置可從源裝置12接收經(jīng)編碼的視頻數(shù)據(jù) 且生產(chǎn)含有經(jīng)編碼視頻數(shù)據(jù)的光盤。因此，在各種實例中，計算機(jī)可讀媒體16可理解為包 含各種形式的一或多個計算機(jī)可讀媒體。
[0050] 目的地裝置14的輸入接口 28從計算機(jī)可讀媒體16接收信息。計算機(jī)可讀媒體 16的信息可包含由視頻編碼器20定義的語法信息，所述語法信息還供視頻解碼器30使用， 所述語法信息包含描述塊及其它經(jīng)譯碼單元（例如，G0P)的特性及/或處理的語法元素。 顯示裝置32向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如陰極射 線管（CRT)、液晶顯示器（IXD)、等離子體顯示器、有機(jī)發(fā)光二極管（OLED)顯示器或另一類 型的顯示裝置。
[0051] 視頻編碼器20及視頻解碼器30可根據(jù)視頻譯碼標(biāo)準(zhǔn)（例如，目前正在開發(fā)的高 效率視頻譯碼（HEVC)標(biāo)準(zhǔn)）來操作，且可符合HEVC測試模型（HM)?；蛘撸曨l編碼器20 及視頻解碼器30可根據(jù)其它專屬或工業(yè)標(biāo)準(zhǔn)來操作，所述標(biāo)準(zhǔn)例如ITU-TH. 264標(biāo)準(zhǔn)，替 代地被稱作MPEG-4第10部分高級視頻譯碼（AVC)，或此類標(biāo)準(zhǔn)的擴(kuò)展。然而，本發(fā)明的技 術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)，包含但不限于上文所列的標(biāo)準(zhǔn)中的任一者。視頻譯碼標(biāo)準(zhǔn)的 其它實例包含MPEG-2和ITU-TH. 263。盡管圖1中未展示，但在一些方面中，視頻編碼器 20及視頻解碼器30可各自與音頻編碼器及解碼器集成，且可包含適當(dāng)?shù)亩嗦窂?fù)用器-多路 分用器（MUX-DEMUX)單元或其它硬件及軟件，以處理對共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻 與視頻兩者的編碼。如果適用，MUX-DEMUX單元可符合ITUH. 223多路復(fù)用器協(xié)議或例如 用戶數(shù)據(jù)報協(xié)議（UDP)等其它協(xié)議。
[0052] 視頻編碼器20及視頻解碼器30各自可實施為例如一或多個微處理器、數(shù)字信號 處理器（DSP)、專用集成電路（ASIC)、現(xiàn)場可編程門陣列（FPGA)、離散邏輯、軟件、硬件、固 件或其任何組合的多種合適編碼器電路中的任一者。當(dāng)部分地用軟件實施所述技術(shù)時，裝 置可將用于軟件的指令存儲在合適的非暫時性計算機(jī)可讀媒體中且使用一或多個處理器 用硬件執(zhí)行所述指令以執(zhí)行本發(fā)明的技術(shù)。視頻編碼器20及視頻解碼器30中的每一者可 包含在一或多個編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為相應(yīng)裝置中 的組合編碼器/解