幀內預測單元46可確定用以 編碼當前塊的幀內預測模式。在一些實例中，幀內預測單元46可（例如）在單獨的編碼遍 次期間使用各種幀內預測模式來編碼當前塊，且?guī)瑑阮A測單元46(或在一些實例中，模式 選擇單元40)可從所測試模式中選擇適當幀內預測模式來使用。
[0073] 舉例來說，幀內預測單元46可使用對各種所測試幀內預測模式的速率-失真分析 計算速率-失真值，且在所測試模式當中選擇具有最好的速率-失真特性的幀內預測模式。 速率-失真分析一般確定經編碼塊與經編碼以產生經編碼塊的原始未經編碼塊之間的失 真（或錯誤）的量，以及用以產生經編碼塊的位速率（即，位數）。幀內預測單元46可從各 種經編碼塊的失真及速率計算比以確定哪一種幀內預測模式展現塊的最好的速率-失真 值。
[0074] 在選擇用于塊的幀內預測模式之后，幀內預測單元46可將指示用于塊的選定幀 內預測模式的信息提供到熵編碼單元56。熵編碼單元56可編碼指示選定幀內預測模式的 信息。視頻編碼器20可在經發(fā)射的位流中包含配置數據，其可包含多個幀內預測模式索引 表及多個修改的幀內預測模式索引表（還被稱作碼字映射表）、編碼各種塊的上下文的定 義及用于所述上下文中的每一者的最有可能的幀內預測模式、幀內預測模式索引表及修改 的幀內預測模式索引表的指示。
[0075] 視頻編碼器20通過從正被譯碼的原始視頻塊減去來自模式選擇單元40的預測數 據形成殘余視頻塊。求和器50表示執(zhí)行此減法運算的一或多個組件。變換處理單元52將 例如離散余弦變換（DCT)或概念上類似的變換等變換應用于殘余塊，從而產生包括殘余變 換系數值的視頻塊。變換處理單元52可執(zhí)行概念上類似于DCT的其它變換。還可使用小 波變換、整數變換、子頻帶變換或其它類型的變換。在任何情況下，變換處理單元52將變換 應用于殘余塊，從而產生殘余變換系數塊。所述變換可將殘余信息從像素值域轉換到變換 域（例如，頻域）。變換處理單元52可將所得變換系數發(fā)送到量化單元54。量化單元54 將所述變換系數量化以進一步減小位速率。所述量化過程可減小與所述系數中的一些或所 有系數相關聯的位深度?？赏ㄟ^調整量化參數來修改量化程度。在一些實例中，量化單元 54可接著執(zhí)行包含經量化的變換系數的矩陣的掃描。替代地，熵編碼單元56可執(zhí)行所述掃 描。
[0076] 在量化之后，商編碼單元56 j：商譯碼經量化的變換系數。舉例來說，j：商編碼單元56 可執(zhí)行上下文自適應性可變長度譯碼（CAVLC)、上下文自適應性二進制算術譯碼（CABAC)、 基于語法的上下文自適應性二進制算術譯碼（SBAC)、概率區(qū)間分割熵（PIPE)譯碼或另一 熵譯碼技術。在基于上下文的熵譯碼的情況下，上下文可基于相鄰塊。在由熵編碼單元56 進行熵譯碼之后，可將經編碼位流發(fā)射到另一裝置（例如，視頻解碼器30)或封存以供稍后 發(fā)射或檢索。
[0077] 反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重新構造 殘余塊，（例如）以供稍后用作參考塊。運動補償單元44可通過將殘余塊加到參考幀存儲 器64的幀中的一者的預測性塊來計算參考塊。運動補償單元44還可將一或多個內插濾波 器應用于經重新構造的殘余塊以計算子整數像素值以供在運動估計中使用。求和器62將 經重新構造的殘余塊加到由運動補償單元44產生的經運動補償的預測塊，以產生經重新 構造的視頻塊以供存儲在參考幀存儲器64中。經重新構造的視頻塊可由運動估計單元42 及運動補償單元44用作參考塊以幀間譯碼后續(xù)視頻幀中的塊。
[0078] 圖3為說明可實施根據本發(fā)明中所描述的方面的技術的視頻解碼器的實例的框 圖。視頻解碼器30可經配置以執(zhí)行本發(fā)明的包含下文關于圖9描述的方法的技術中的任 一者或全部。作為一個實例，運動補償單元72及/或幀內預測單元74可經配置以執(zhí)行本 發(fā)明中描述的技術中的任一者或全部。然而，本發(fā)明的方面不受如此限制。在一些實例中， 本發(fā)明中所描述的技術可在視頻解碼器30的各種組件當中共享。在一些實例中，另外或替 代地，處理器（未圖示）可經配置以執(zhí)行本發(fā)明中所描述的技術中的任一者或全部。
[0079] 在圖3的實例中，視頻解碼器30包含熵解碼單元70、運動補償單元72、幀內預測 單元74、反量化單元76、反變換單元78、參考幀存儲器82及求和器80。在一些實例中，視 頻解碼器30可執(zhí)行解碼遍次，所述解碼遍次一般與關于視頻編碼器20 (圖2)所描述的編 碼遍次互逆。運動補償單元72可基于從熵解碼單元70接收的運動向量產生預測數據，而 幀內預測單元74可基于從熵解碼單元70接收的幀內預測模式指示符產生預測數據。
[0080] 在解碼過程期間，視頻解碼器30從視頻編碼器20接收經編碼視頻位流，所述經編 碼視頻位流表示經編碼視頻切片的視頻塊及相關聯語法元素。視頻解碼器30的熵解碼單 元70 j：商解碼位流以產生經量化的系數、運動向量或幀內預測模式指示符及其它語法元素。 熵解碼單元70將運動向量及其它語法元素轉發(fā)到運動補償單元72。視頻解碼器30可在視 頻切片層級及/或視頻塊層級接收語法元素。
[0081] 當視頻切片經譯碼為經幀內譯碼（I)切片時，幀內預測單元74可基于傳信的幀內 預測模式及來自當前幀或圖片的先前經解碼的塊的數據產生用于當前視頻切片的視頻塊 的預測數據。當視頻幀經譯碼為經幀間譯碼（例如，B、P或GPB)切片時，運動補償單元72 基于從熵解碼單元70接收的運動向量及其它語法元素產生用于當前視頻切片的視頻塊的 預測性塊?？蓮膮⒖紙D片列表中的一者內的參考圖片中的一者產生預測性塊。視頻解碼器 30可基于存儲在參考幀存儲器92中的參考圖片使用默認構造技術來構造參考幀列表（列 表0及列表1)。運動補償單元72通過剖析運動向量及其它語法元素來確定用于當前視頻 切片的視頻塊的預測信息，且使用所述預測信息產生用于正被解碼的當前視頻塊的預測性 塊。舉例來說，運動補償單元72使用所接收語法元素中的一些語法元素確定用以譯碼視頻 切片的視頻塊的預測模式（例如，幀內預測或幀間預測）、幀間預測切片類型（例如，B切 片、P切片或GPB切片）、用于切片的參考圖片列表中的一或多者的構造信息、用于切片的每 一經幀間編碼視頻塊的運動向量、用于切片的每一經幀間譯碼視頻塊的幀間預測狀態(tài)及用 以解碼當前視頻切片中的視頻塊的其它信息。
[0082] 運動補償單元72還可基于內插濾波器執(zhí)行內插。運動補償單元72可使用如由 視頻編碼器20在編碼視頻塊期間使用的內插濾波器來計算參考塊的子整數像素的經內插 值。在此情況下，運動補償單元72可從所接收語法元素確定由視頻編碼器20使用的內插 濾波器且使用所述內插濾波器來產生預測性塊。
[0083] 反量化單元76將提供于位流中且由j：商解碼單元80解碼的經量化的變化系數反量 化（例如，解量化）。反量化過程可包含使用由視頻解碼器30針對視頻切片中的每一視頻 塊計算的量化參數QP y來確定應應用的量化程度及（同樣地）反量化程度。
[0084] 反變換單元78將反變換（例如，反DCT、反整數變換或概念上類似的反變換過程） 應用于變換系數，以便在像素域中產生殘余塊。
[0085] 在運動補償單元82基于運動向量及其它語法元素產生用于當前視頻塊的預測性 塊之后，視頻解碼器30通過將來自反變換單元78的殘余塊與由運動補償單元72產生的對 應預測性塊加總形成經解碼的視頻塊。求和器90表示執(zhí)行此加總運算的一或多個組件。在 需要時，還可應用解塊濾波器來對經解碼的塊進行濾波以便去除成塊效應偽影。其它回路 濾波器（譯碼回路內或譯碼回路后）還可用以使像素轉變平滑，或以其它方式改善視頻質 量。接著將給定幀或圖片中的經解碼的視頻塊存儲在參考圖片存儲器92中，參考圖片存儲 器92存儲用于后續(xù)運動補償的參考圖片。參考幀存儲器82還存儲經解碼的視頻以用于稍 后呈現在顯示裝置（例如，圖1的顯示裝置32)上。
[0086] HEVC中的運動補償
[0087] 如上文所提及，HEVC為下一代視頻譯碼標準。一般來說，HEVC遵循先前視頻譯碼 標準的框架。HEVC的運動補償回路可保持與H. 264/AVC中的運動補償回路相同，即，當前幀 的重新構造/等于經解量化的系數r加上時間預測P :
[0088] f=r + P (1)
[0089] 其中P指示P個幀或切片的單向預測，或B個幀或切片的雙向預測。
[0090] HEVC中運動補償的單元可能不同于先前視頻譯碼標準中的運動補償的單元。實際 上，先前視頻譯碼標準中的宏塊的概念并不存在于HEVC中。實情為，基于一般四叉樹方案 用高度靈活階層式結構替換宏塊概念。在此方案內，定義三種類型的塊，即，譯碼單元（⑶)、 預測單元（PU)及變換單元（TU)。CU為區(qū)分裂的基本單元。CU類似于宏塊的概念，但其并 不限制最大大小，且其允許遞歸地分裂成四個相等大小的CU以改善內容調適性。PU為幀間 /幀內預測的基本單元，且其在單個PU中可含有多個任意形狀分割區(qū)以有效地譯碼不規(guī)則 圖像圖案。TU為變換的基本單元?？瑟毩⒂赑U來定義TU;然而，其大小限于TU所屬于的 CU。塊結構到三個不同概念的此分離允許每一者根據其作用而最優(yōu)化，此情形導致改善的 譯碼效率。
[0091] 可擴縮式視頻譯碼
[0092] 不同維度上的可擴縮性400的實例展示于圖4中。在所述實例中，在三個維度 402、404、406上實現可擴縮性。在時間維度402上，時間可擴縮性（T)可支持（例如）在 7. 5Hz、15Hz或30Hz情況下的幀速率。當支持空間可擴縮性（S) 404時，實現例如QCIF、CIF 及4CIF等不同分辨率。對于每一特定空間分辨率及幀速率，可添加 SNR(Q)層406以改善 圖片質量。來自每一層402、404、406的位流可一起多路傳輸到單個位流中。一旦視頻內容 已按此可擴縮式方式編碼，便可使用提取器工具來根據應用要求調適實際遞送的內容，所 述應用要求取決于（例如）客戶端或發(fā)射信道。在圖4中所展示的實例中，每一立方體408 含有具有相同幀速率（時間層級）、空間分辨率及SNR層的圖片。更好的表示可通過在任何 維度402、404、406上添加所述立方體408 (圖片）來實現。當實現兩個、三個或甚至三個以 上可擴縮性時，支持組合的可擴縮性。
[0093] 根據SVC規(guī)范，具有最低空間410及質量412層的圖片與H. 264/AVC兼容，且處于 最低時間層級414的圖片形成時間基礎層，所述時間基礎層可通過處于較高時間層級的圖 片來增強。除H. 264/AVC兼容層之外，還可添加若干空間及/或SNR增強層以提供空間及 /或質量可擴縮性。SNR可擴縮性406還被稱作質量可擴縮性。通過與H.264/AVC兼容層 相同的時間可擴縮性結構，每一空間404或SNR 406增強層自身可為時間上可擴縮的。對 于一個空間或SNR增強層，其所取決于的較低層還被稱作所述特定空間或SNR增強層的基 礎層。
[0094] SVC譯碼結構500的實例展示于圖5中。具有最低空間及質量層的圖片（層0 502 及層1 504中的圖片，具有QCIF分辨率）與H. 264/AVC兼容。在所述圖片當中，如圖5的 層0 502中所展示，最低時間層級的所述圖片形成時間基礎層。此時間基礎層（層0)502 可通過較高時間層級（層1)504的圖片來增強。除H. 264/AVC兼容層504之外，還可添加 若干空間及/或SNR增強層506、508、510以提供空間及/或質量可擴縮性。舉例來說，增 強層可為具有與層2 506相同的分辨率的CIF表示。在所述實例中，層3 508為SNR增強 層。如實例中所展示，通過與H. 264/AVC兼容層相同的時間可擴縮性結構，每一空間或SNR 增強層自身可為時間上可擴縮的。而且，增強層可增強空間分辨率及幀速率兩者。舉例來 說，層4 510提供4CIF增強層，其進一步將幀速率從15Hz增加到30Hz。
[0095] 如圖6中所展示，同一時間實例中的經譯碼切片在位流次序上是連續(xù)的，且在SVC 的上下文中形成一個存取單元600。所述SVC存取單元600接著遵循解碼次序，所述解碼次 序可不同于顯示次序且（例如）通過時間預測關系來決定。
[0096] 圖7說明概念圖700,所述概念圖700說明層間預測限制及裕度的實施例。如所 展示，基礎層710可對應于層0,增強層720可對應于層1，增強層730可對應于層2,且增 強層740可對應于層3。在此實施例中，基礎層710可充當默認層。分別在增強層720、730 及740與基礎層710之間的線750、751及752指示準許視頻譯碼（例如，解碼、編碼）使用 層間預測。增強層730與增強層710之間的線753指示限制、阻止或以其它方式防止視頻 譯碼執(zhí)行層間預測。類似地，增強層740與增強層730之間的線754指示限制、阻止或以其