可縮放視頻譯碼中的變換基底調(diào)整的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻譯碼。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、平板計算機、電子圖書閱讀器、數(shù)碼 相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線 電電話、所謂的"智能電話"、視頻電話會議裝置、視頻流式發(fā)射裝置及其類似者。數(shù)字視頻 裝置實施視頻譯碼技術(shù)，例如由MPEG-2、MPEG-4、ITU-TH. 263或ITU-TH. 264/MPEG-4第 10部分高級視頻譯碼（AVC)所定義的標準、目前正在開發(fā)的高效率視頻譯碼（HEVC)標準及 這些標準的擴展中所描述的視頻譯碼技術(shù)。視頻裝置可通過實施此類視頻譯碼技術(shù)而更有 效率地發(fā)射、接收、編碼、解碼及/或存儲數(shù)字視頻信息。
[0003] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測及/或時間（圖片間）預(yù)測以減少或移除 視頻序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（例如，視頻幀或視頻幀的 一部分）可分割成視頻塊，視頻塊還可被稱作樹塊、譯碼單元（CU)及/或譯碼節(jié)點。使用 相對于圖片中的相鄰塊中的參考樣本的空間預(yù)測對同一圖片的經(jīng)幀內(nèi)編碼（I)切片中的 視頻塊進行編碼。圖片的經(jīng)幀間譯碼（P或B)切片中的視頻塊可使用相對于同一圖片中的 相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可 稱作幀，且參考圖片可稱作參考幀。
[0004] 空間或時間預(yù)測導(dǎo)致待譯碼塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預(yù)測 性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測性塊的參考樣本塊的運動向量及指 示經(jīng)譯碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)而編碼。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及 殘余數(shù)據(jù)而編碼。為了實現(xiàn)進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘 余變換系數(shù)，接著可對殘余變換系數(shù)進行量化。可掃描最初布置為二維陣列的經(jīng)量化變換 系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵編碼以實現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0005] 大體來說，本發(fā)明描述與通過在可縮放視頻譯碼期間條件性地或自適應(yīng)地調(diào)整變 換函數(shù)而改善譯碼性能有關(guān)的技術(shù)。
[0006] 隨附圖式及以下描述中闡述一或多個實例的細節(jié)。其它特征、目標及優(yōu)勢將從描 述及附圖且從權(quán)利要求書中顯而易見。
[0007] 在一個實施例中，經(jīng)配置以譯碼視頻信息的設(shè)備包含存儲器單元及處理器。所述 存儲器單元經(jīng)配置以存儲與參考層及對應(yīng)增強層相關(guān)聯(lián)的視頻信息。所述處理器與所述存 儲器單元通信。所述處理器經(jīng)配置以至少部分基于與所述參考層及所述增強層相關(guān)聯(lián)的視 頻信息獲得殘余塊信息。所述處理器還經(jīng)配置以基于與所述視頻信息相關(guān)聯(lián)的變換函數(shù)確 定經(jīng)調(diào)整變換函數(shù)。所述處理器還經(jīng)配置以基于所述經(jīng)調(diào)整變換函數(shù)及所述殘余塊信息確 定變換塊。
[0008] 在另一實施例中，一種解碼視頻信息的方法包含存儲與參考層及對應(yīng)增強層相關(guān) 聯(lián)的視頻信息。所述方法還包含至少部分基于與所述參考層及所述增強層相關(guān)聯(lián)的視頻信 息獲得殘余塊信息。所述方法還包含基于與所述視頻信息相關(guān)聯(lián)的變換函數(shù)確定經(jīng)調(diào)整變 換函數(shù)。所述方法還包含基于所述經(jīng)調(diào)整變換函數(shù)及所述殘余塊信息確定變換塊。所述方 法還包含使用所述變換塊解碼所述視頻信息。
[0009] 在另一實施例中，提供一種編碼視頻信息的方法。所述方法包含存儲與參考層及 對應(yīng)增強層相關(guān)聯(lián)的視頻信息。所述方法還包含至少部分基于與所述參考層及所述增強層 相關(guān)聯(lián)的視頻信息獲得殘余塊信息。所述方法還包含基于與所述視頻信息相關(guān)聯(lián)的變換函 數(shù)確定經(jīng)調(diào)整變換函數(shù)。所述方法還包含基于所述經(jīng)調(diào)整變換函數(shù)及所述殘余塊信息確定 變換塊。所述方法還包含使用所述變換塊編碼所述視頻信息。
[0010] 在又一實施例中，提供一種用于譯碼視頻信息的設(shè)備。所述設(shè)備包含用于存儲與 參考層及對應(yīng)增強層相關(guān)聯(lián)的視頻信息的裝置。所述設(shè)備還包含用于至少部分基于與所述 參考層及所述增強層相關(guān)聯(lián)的視頻信息獲得殘余塊信息的裝置。所述設(shè)備還包含用于基于 與所述視頻信息相關(guān)聯(lián)的變換函數(shù)確定經(jīng)調(diào)整變換函數(shù)的裝置。所述設(shè)備還包含用于基于 所述經(jīng)調(diào)整變換函數(shù)及所述殘余塊信息確定變換塊的裝置。
[0011] 在又一實施例中，一種計算機可讀媒體具有計算機可執(zhí)行指令，所述計算機可執(zhí) 行指令在由計算裝置執(zhí)行時致使所述計算裝置存儲與參考層及對應(yīng)增強層相關(guān)聯(lián)的視頻 信息。所述指令還致使所述計算裝置至少部分基于與所述參考層及所述增強層相關(guān)聯(lián)的視 頻信息獲得殘余塊信息。所述指令還致使所述計算裝置基于與所述視頻信息相關(guān)聯(lián)的變換 函數(shù)確定經(jīng)調(diào)整變換函數(shù)。所述指令還致使所述計算裝置基于所述經(jīng)調(diào)整變換函數(shù)及所述 殘余塊信息確定變換塊。
【附圖說明】
[0012] 圖1是說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼及解碼系統(tǒng) 的框圖。
[0013] 圖2是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0014] 圖3是說明可實施本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0015] 圖4是說明多維可縮放性的實例的框圖。
[0016] 圖5是SVC譯碼結(jié)構(gòu)的一個實施例的框圖。
[0017] 圖6是說明形成各種存取單元的經(jīng)譯碼切片的位流的一個實施例的框圖。
[0018] 圖7是說明共置塊的一個實施例的框圖。
[0019] 圖8是變換基底調(diào)整的方法的流程圖。
【具體實施方式】
[0020] 本發(fā)明中描述的技術(shù)大體涉及可縮放視頻譯碼（SVC)及3D視頻譯碼。舉例而言， 技術(shù)可與高效率視頻譯碼01EVC)可縮放視頻譯碼（SVC)擴展相關(guān)，及供該HEVCSVC擴展 使用或在該ffiVCSVC擴展內(nèi)使用。在SVC擴展中，可存在多個視頻信息層。在最底層級處 的層可充當基礎(chǔ)層（BL)，且在最頂部的層可充當增強型層（enhancedlayer，EL)。"增強型 層"有時被稱作"增強層"，且這些術(shù)語可互換地使用。所有在中間的層可充當EL或BL，或EL及BL兩者。舉例而言，在中間的層可為在其下方的層（例如基層或任何介入增強層）的 EL，且同時充當在其上方的增強層的BL。
[0021] 在其中不利用層間預(yù)測的視頻譯碼中，DC及低頻（LF)分量往往在變換之后會具 有大部分殘余能量。此特性（DC/LF分量往往會具有大振幅，而HF分量往往會具有低振幅） 已用在某些視頻譯碼過程中以實現(xiàn)壓縮效率。然而，可縮放視頻譯碼的殘差可歸因于層間 預(yù)測（例如，歸因于幀內(nèi)BL模式中的預(yù)測，下文描述）而具有不同分布特性。明確地說，通 過SVC，殘差更像是噪聲，且能量可擴散在整個或較大頻域上。實際上，不同于非SVC視頻譯 碼，通過SVC，有可能HF分量可具有比DC或LF分量多的能量。因此，用于常規(guī)非SVC視頻 譯碼的傳統(tǒng)方法對于可縮放視頻譯碼可能效果不佳。在實施SVC時，變換基底調(diào)整可幫助 改善壓縮效率。下文更詳細地描述此類技術(shù)。此外，可通過編碼器（例如，如下文關(guān)于圖1 及2所描述）及/或解碼器（例如，如關(guān)于下文圖1及3所描述）來實施這些技術(shù)。
[0022] 出于說明的目的，本發(fā)明中描述的技術(shù)用僅包含兩層（例如，例如基礎(chǔ)層等較低 層級層，及例如增強型層等較高層級層）的實例來加以描述。應(yīng)理解，本發(fā)明中描述的實例 也可擴展到具有多個基礎(chǔ)層及增強層的實例。
[0023] 視頻譯碼標準包含ITU-TH. 261、ISO/IECMPEG-IVisual、ITU-TH. 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、ISO/IECMPEG-4Visual及ITU-TH. 264(也被稱為ISO/ IECMPEG-4AVC)，包含其可縮放視頻譯碼（SVC)及多視圖視頻譯碼（MVC)擴展。此外，一 種新的視頻譯碼標準，即高效率視頻譯碼01EVC)，正由ITU-T視頻譯碼專家組（VCEG)及 ISO/IEC運動圖片專家組（MPEG)的視頻譯碼聯(lián)合合作小組（JCT-VC)進行開發(fā)。HEVC的 新近草案從 2012 年 6 月 7 日起可從http://wgll.sc29.org/ict/docenduser/current document,oho?id= 5885/TCTVC-11003-v2獲得。被稱作"HEVC工作草案 7" 的HEVC標 準的另一新近草案從 2012 年 6 月 7 曰起.可從http: //ohenix.it-sudparis.eu/ict/doc enduser/documents/9Geneva/wgll/.TCTVC-I1003_v3.zip下裁。對HEVC工作草案 7 的完 全引用是布洛斯（Bross)等人的文獻HCTVC-11003"高效率視頻譯碼（HEVC)文本規(guī)范草案 7(HighEfficiencyVideoCoding(HEVC)TextSpecificationDraft7)"，ITU-TSG16WP3 及ISO/IECJTC1/SC29/WG11的視頻譯碼聯(lián)合合作小組（JCT-VC)，第9次會議：瑞士日內(nèi)瓦， 2012年4月27日到2012年5月7日。這些參考文獻中的每一者以全文引用的方式并入本 文中。
[0024] 可縮放視頻譯碼（SVC)可用于提供質(zhì)量（還稱作信噪比（SNR))可縮放性、空間可 縮放性及/或時間可縮放性。增強型層可具有與基礎(chǔ)層不同的空間分辨率。舉例來說，EL 與BL之間的空間縱橫比可為I. 0、1. 5、2. 0或其它不同比率。換句話說，EL的空間方面可 等于BL的空間方面的I. 0、1. 5或2.0倍。在一些實例中，EL的縮放因子可大于BL。舉例 來說，EL中的圖片的大小可大于BL中的圖片的大小。以此方式，可有可能（但不限于）EL 的空間分辨率大于BL的空間分辨率。
[0025] 在H. 264的SVC擴展中，可使用針對SVC提供的不同層來執(zhí)行對當前塊的預(yù)測。此 預(yù)測可被稱作層間預(yù)測。在SVC中可利用層間預(yù)測方法以便減少層間冗余。層間預(yù)測的一 些實例可包含層間幀內(nèi)預(yù)測、層間運動預(yù)測及層間殘差預(yù)測。層間幀內(nèi)預(yù)測使用基礎(chǔ)層中 的位于相同位置的塊的重建來預(yù)測增強層中的當前塊。層間運動預(yù)測使用基礎(chǔ)層的運動來 預(yù)測增強層中的運動。層間殘差預(yù)測使用基礎(chǔ)層的殘差來預(yù)測增強層的殘差。
[0026] 在層間殘差預(yù)測中，基礎(chǔ)層的殘差可用于預(yù)測增強層中的當前塊?？蓪⑺鰵埐?界定為對視頻單元的時間預(yù)測與源視頻單元之間的差。在殘差預(yù)測中，還在預(yù)測當前塊時 考慮基礎(chǔ)層的殘差。舉例來說，可使用從增強層的殘差、從增強層的時間預(yù)測及從基礎(chǔ)層的 殘差來重建當前塊。可根據(jù)以下方程式重建當前塊：
[0027] Ie =rc +Pc +rh (I)
[0028] 其中L表示當前塊的重建，表示來自增強層的殘差，P6表示來自增強層的時間 預(yù)測，且rb表示來自基礎(chǔ)層的殘差預(yù)測。
[0029] 為了針對增強層中的宏塊（MB)使用層間殘差預(yù)測，基礎(chǔ)層中的位于相同位置的 宏塊應(yīng)為幀間MB，且可根據(jù)增強層的空間分辨率對位于相同位置的基礎(chǔ)層宏塊的殘差上取 樣（例如，因為SVC中的層可具有不同的空間分辨率）。在層間殘差預(yù)測中，增強層的殘差 與經(jīng)上取樣基礎(chǔ)層的殘差之間的差可在位流中譯碼。可基于基礎(chǔ)層及增強層的量化步長之 間的比率來歸一化基礎(chǔ)層的殘差。
[0030] H. 264的SVC擴展需要用于運動補償?shù)膯苇h(huán)路解碼以便維持解碼器的低復(fù)雜度。 一般來說，如下通過將當前塊的時間預(yù)測與殘差相加來執(zhí)行運動補償：
[0031] I=r+P (2)
[0032] 其中！表示當前幀、r表示殘差，且P表示時間預(yù)測。在單環(huán)路解碼中，可使用單一 運動補償環(huán)路來解碼SVC中的每一支持的層。為了實現(xiàn)此，使用受約束的幀內(nèi)預(yù)測來譯碼 用于對較高層進行層間幀內(nèi)預(yù)測的所有層。在受約束的幀內(nèi)預(yù)測中，在不參考來自相鄰經(jīng) 幀間譯碼MB的任何樣本的情況下對幀內(nèi)模式MB進行幀內(nèi)譯碼。另一方面，HEVC允許用于 SVC的多環(huán)路解碼，其中可使用多個運動補償環(huán)路來解碼SVC層。舉例來說，首先完全解碼 基礎(chǔ)層，且接著解碼增強層。
[0033] 方程式（1)中用公式表示的殘差預(yù)測可為H. 264SVC擴展中的有效技術(shù)。然而，可 在HEVCSVC擴展中進一步改善其性能，尤其在多環(huán)路解碼用于HEVCS