專(zhuān)利名稱(chēng)：對(duì)幀內(nèi)預(yù)測(cè)使用自適應(yīng)dct/dst的低復(fù)雜度變換編碼的制作方法
技術(shù)領(lǐng)域：
本申請(qǐng)總體上涉及一種視頻編碼器/解碼器(編解碼器)，更具體地說(shuō)，涉及一種用于實(shí)現(xiàn)基于模式的DCT/DST視頻編解碼器的方法和設(shè)備，其中，離散余弦變換(DCT)和離散正弦變換(DST)基于幀內(nèi)預(yù)測(cè)殘差能量或簡(jiǎn)單地基于幀內(nèi)預(yù)測(cè)模式而被選擇。
背景技術(shù)：
大多數(shù)現(xiàn)有的圖像和視頻編碼標(biāo)準(zhǔn)(諸如JPEG、H.264/AVC、VC-1以及即將到來(lái)的下一代視頻編解 碼器標(biāo)準(zhǔn)HEVC (高效率視頻編碼))采用基于塊的變換編碼作為工具來(lái)有效地壓縮輸入圖像和視頻信號(hào)。以逐塊為基礎(chǔ)使用變換處理來(lái)將像素域數(shù)據(jù)變換到頻域。對(duì)于典型的圖像，大部分能量被集中在低頻變換系數(shù)中。在變換之后，更大步長(zhǎng)的量化器可被用于更高頻率的變換系數(shù)，以便更有效地壓縮能量并獲得更好的壓縮。因此，需要為每個(gè)圖像塊設(shè)計(jì)最佳變換來(lái)對(duì)變換系數(shù)完全去相關(guān)?？ê?洛夫(Karhunen Loeve)變換(KLT)在例如高斯信號(hào)的高分辨率量化和變換系數(shù)的完全去相關(guān)方面具有若干有吸引力的特性。然而，由于KLT的高計(jì)算復(fù)雜度，KLT的實(shí)際使用受到限制，并且，已由K.R.Rao和P.Yip(1990)在“Discrete cosine transform-algorithms, advantages and applications，，中示出離散余弦變換(DCT)在接近于KLT的能量壓縮和性能方面提供對(duì)于KLT的有吸引力的替代。但是隨著幀內(nèi)預(yù)測(cè)的出現(xiàn)，不再是這種情況，并且最佳變換應(yīng)該適用于幀內(nèi)預(yù)測(cè)模式。在正在進(jìn)行的HEVC的標(biāo)準(zhǔn)化中，除了標(biāo)準(zhǔn)DCT之外，非傳統(tǒng)變換正被研究以用于中貞內(nèi)預(yù)測(cè)殘差(Robert Cohen 等人，“Tool Experiment :MDDT Simplification，，，ITU-TJCTVC-B307，瑞士，日內(nèi)瓦，2010年7月)。這些變換可大致被分類(lèi)為兩種類(lèi)別:(a)基于訓(xùn)練的變換和(b)基于模型的變換。在基于訓(xùn)練的變換之中突出的是基于模式的方向變換(MDDT) (Y.Ye 和 M.Karczewicz, “Improved Intra coding”，ITU-T Q.6/SG-16VCEG,VCEG-AG11，中國(guó)，深圳，2007年10月)。在MDDT中，為每個(gè)幀內(nèi)預(yù)測(cè)模式收集誤差殘差的大的訓(xùn)練集，然后使用殘差訓(xùn)練集來(lái)計(jì)算最佳變換矩陣。然而，MDDT需要大量的變換矩陣——在塊大小N=4和N=S的情況下需要多達(dá)18個(gè)變換矩陣。另一種類(lèi)別的基于模型的變換假設(shè)視頻信號(hào)將被建模為一階高斯-馬爾可夫過(guò)程，然后分析得出最佳變換。這些基于模型的變換在塊大小下需要兩個(gè)變換矩陣。在 J.Han、A.Saxena 和 K.Rose,“Towards jointly optimal spatial predictionand adaptive transform in video/image coding，，，IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP), 726-729 頁(yè)，2010 年 3 月中，如在 H.264/AVC 中的巾貞內(nèi)預(yù)測(cè)(T.Wiegland、G.J.Sullivan, G、Bjontegaard 和 A.Luthra,“Overview of the H.264/AVC video coding standard”，IEEE Transactions on Circuitsand Systems for Video Technology, 2003年7月)中，當(dāng)邊界信息在一個(gè)方向上可用時(shí)，針對(duì)一階高斯-馬爾可夫模型以不同于傳統(tǒng)DCT的頻率和相位分量來(lái)分析得出離散正弦變換(DST)0它們還表明:如果沒(méi)有沿特定方向執(zhí)行預(yù)測(cè)，則DCT性能接近于KLT。此構(gòu)思被應(yīng)用到H.264/AVC中的幀內(nèi)預(yù)測(cè)中的垂直模式和水平模式，并且所提出的DST和傳統(tǒng)DCT的組合被適應(yīng)性地使用。已通過(guò)將DST和DCT的組合應(yīng)用到H.264/AVC中的其它七種預(yù)測(cè)模式來(lái)在沒(méi)有理論證實(shí)的情況下嘗試實(shí)驗(yàn)性地?cái)U(kuò)展類(lèi)似的構(gòu)思，且所述嘗試已表明:與MDDT相比，性能方面僅存在較小的損失(C.Yeo、Y.H.Tan、Z.Li 和 S.Rahardja, “Mode-dependentfast separable KLT for block-based intra coding”，ITU-T JCTVC-B024,瑞士，日內(nèi)瓦，2010 年 7 月)。此外，DST矩陣應(yīng)被適當(dāng)?shù)乜s放以考慮量化縮放矩陣的影響?，F(xiàn)有技術(shù)沒(méi)有描述在HEVC中的實(shí)現(xiàn)中對(duì)DST矩陣系數(shù)的改變以使得縮放與DCT匹配。因此，本領(lǐng)域中需要提高壓縮效率并采用低復(fù)雜度變換的改進(jìn)視頻編解碼器。

發(fā)明內(nèi)容
技術(shù)問(wèn)題在正在進(jìn)行的HEVC的標(biāo)準(zhǔn)化中，除了標(biāo)準(zhǔn)DCT之外，非傳統(tǒng)變換正被研究以用于中貞內(nèi)預(yù)測(cè)殘差(Robert Cohen 等人，“Tool Experiment :MDDT Simplification，，，ITU-TJCTVC-B307，瑞士，日內(nèi)瓦，2010年7月)。這些變換可大致被分類(lèi)為兩種類(lèi)別:(a)基于訓(xùn)練的變換和(b)基于模型的變換。在基于訓(xùn)練的變換之中突出的是基于模式的方向變換(MDDT) (Y.Ye 和 M.Karczewicz, “Improved Intra coding”，ITU-T Q.6/SG-16VCEG,VCEG-AG11，中國(guó)，深圳，2007年10月)。在MDDT中，為每個(gè)幀內(nèi)預(yù)測(cè)模式收集誤差殘差的大的訓(xùn)練集，然后使用殘差訓(xùn)練集來(lái)計(jì)算最佳變換矩陣。然而，MDDT需要大量的變換矩陣——在塊大小N=4和N=S的情況下需要多達(dá)18個(gè) 變換矩陣。另一種類(lèi)別的基于模型的變換假設(shè)視頻信號(hào)將被建模為一階高斯-馬爾可夫過(guò)程，然后分析得出最佳變換。這些基于模型的變換在塊大小下需要兩個(gè)變換矩陣。在 J.Han、A.Saxena 和 K.Rose,“Towards jointly optimal spatial predictionand adaptive transform in video/image coding，，，IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP), 726-729 頁(yè)，2010 年 3 月中，如在 H.264/AVC 中的巾貞內(nèi)預(yù)測(cè)(T.Wiegland、G.J.Sullivan, G、Bjontegaard 和 A.Luthra,“Overview of the H.264/AVC video coding standard”，IEEE Transactions on Circuitsand Systems for Video Technology, 2003年7月)中，當(dāng)邊界信息在一個(gè)方向上可用時(shí)，針對(duì)一階高斯-馬爾可夫模型以不同于傳統(tǒng)DCT的頻率和相位分量來(lái)分析得出離散正弦變換(DST)0它們還表明:如果沒(méi)有沿特定方向執(zhí)行預(yù)測(cè)，則DCT性能接近于KLT。此構(gòu)思被應(yīng)用到H.264/AVC中的幀內(nèi)預(yù)測(cè)中的垂直模式和水平模式，并且所提出的DST和傳統(tǒng)DCT的組合被適應(yīng)性地使用。已通過(guò)將DST和DCT的組合應(yīng)用到H.264/AVC中的其它七種預(yù)測(cè)模式來(lái)在沒(méi)有理論證實(shí)的情況下嘗試實(shí)驗(yàn)性地?cái)U(kuò)展類(lèi)似的構(gòu)思，且所述嘗試已表明:與MDDT相比，性能方面僅存在較小的損失(C.Yeo、Y.H.Tan、Z.Li 和 S.Rahardja, “Mode-dependentfast separable KLT for block-based intra coding”，ITU-T JCTVC-B024,瑞士，日內(nèi)瓦，2010 年 7 月)。此外，DST矩陣應(yīng)被適當(dāng)?shù)乜s放以考慮量化縮放矩陣的影響。現(xiàn)有技術(shù)沒(méi)有描述在HEVC中的實(shí)現(xiàn)中對(duì)DST矩陣系數(shù)的改變以使得縮放與DCT匹配。因此，本領(lǐng)域中需要提高壓縮效率并采用低復(fù)雜度變換的改進(jìn)視頻編解碼器。
技術(shù)方案根據(jù)本公開(kāi)的一方面，提供一種用于解碼視頻的方法。從輸入視頻比特流確定幀內(nèi)預(yù)測(cè)模式。根據(jù)輸入視頻比特流的幀內(nèi)預(yù)測(cè)模式，將輸入視頻比特流的系數(shù)映射到MXN變換系數(shù)矩陣。根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于變換系數(shù)矩陣，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為逆垂直變換，并確定應(yīng)用DCT和DST中的第二個(gè)作為逆水平變換。通過(guò)將DCT和DST中的第一個(gè)用于逆垂直變換并將DCT和DST中的第二個(gè)用于逆水平變換來(lái)執(zhí)行包括逆垂直變換和逆水平變換的逆變換，以計(jì)算將被用于重建視頻的圖像的誤差預(yù)測(cè)殘差的近似值。有益效果本公開(kāi)旨在針對(duì)在用于視頻的幀內(nèi)編碼中的各種預(yù)測(cè)模式在離散正弦變換(DST)和離散余弦變換(DCT)之間進(jìn)行選擇。基于幀內(nèi)預(yù)測(cè)模式在DST和傳統(tǒng)DCT之間進(jìn)行選擇將最佳地產(chǎn)生實(shí)質(zhì)性的壓縮增益。本公開(kāi)的實(shí)施例使用低復(fù)雜度變換并僅需要一個(gè)DST變換矩陣，這將促使DST的快速實(shí)現(xiàn)。盡管將參照HEVC (高效率視頻編碼)標(biāo)準(zhǔn)來(lái)描述本公開(kāi)的實(shí)施例，但是本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到實(shí)施例也可適用于H.264/AVC標(biāo)準(zhǔn)。


為了更完整地理解本公開(kāi)及其優(yōu)點(diǎn)，現(xiàn)結(jié)合附圖參考以下描述，其中，相同參考標(biāo)號(hào)表不相同部件:圖1A示出根據(jù)本公開(kāi)的實(shí)施例的視頻編碼器的高層框圖；圖1B示出根據(jù)本公開(kāi)的實(shí)施例的視頻解碼器的高層框圖；圖2是根據(jù)本公開(kāi)的實(shí)施例的視頻編碼器的一部分的框圖；圖3A和圖3B是示出根據(jù)本公開(kāi)的實(shí)施例的使用類(lèi)別I斜向模式預(yù)測(cè)圖像像素的示圖；圖4是示出根據(jù)本公開(kāi)的實(shí)施例的使用類(lèi)別2斜向模式預(yù)測(cè)圖像像素的示圖；圖5是示出根據(jù)本公開(kāi)的實(shí)施例的使用DC預(yù)測(cè)模式預(yù)測(cè)圖像像素的示圖；圖6是示出根據(jù)本公開(kāi)的實(shí)施例的得出用于類(lèi)別I斜向模式的變換的示圖；圖7A和圖7B是示出根據(jù)本公開(kāi)的實(shí)施例的得出用于類(lèi)別2斜向模式的變換的示圖；圖8示出根據(jù)實(shí)施例的用于通過(guò)對(duì)幀內(nèi)預(yù)測(cè)使用DCT/DST來(lái)編碼視頻比特流的處理；圖9是根據(jù)本公開(kāi)的實(shí)施例的視頻解碼器的一部分的框圖；圖10示出根據(jù)實(shí)施例的用于使用DCT/DST來(lái)解碼視頻比特流的處理；圖11是示出根據(jù)本公開(kāi)的實(shí)施例的通過(guò)將列劃分為兩個(gè)區(qū)域來(lái)使用類(lèi)別2斜向模式預(yù)測(cè)像素的示圖；圖12是示出根據(jù)本公開(kāi)的實(shí)施例的當(dāng)列被劃分為兩個(gè)區(qū)域時(shí)得出用于類(lèi)別2斜向模式的變換的示圖；圖13示出根據(jù)本公開(kāi)的實(shí)施例的用于4點(diǎn)DST的DST類(lèi)型4和DST類(lèi)型7的基函數(shù)的圖表；圖14示出根據(jù)本公開(kāi)的實(shí)施例的用于8點(diǎn)DST的DST類(lèi)型4和DST類(lèi)型7的基函數(shù)的圖表。
具體實(shí)施例方式根據(jù)本公開(kāi)的一方面，提供一種用于解碼視頻的方法。從輸入視頻比特流確定幀內(nèi)預(yù)測(cè)模式。根據(jù)輸入視頻比特流的幀內(nèi)預(yù)測(cè)模式，將輸入視頻比特流的系數(shù)映射到MXN變換系數(shù)矩陣。根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于變換系數(shù)矩陣，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為逆垂直變換，并確定應(yīng)用DCT和DST中的第二個(gè)作為逆水平變換。通過(guò)將DCT和DST中的第一個(gè)用于逆垂直變換并將DCT和DST中的第二個(gè)用于逆水平變換來(lái)執(zhí)行包括逆垂直變換和逆水平變換的逆變換，以計(jì)算將被用于重建視頻的圖像的誤差預(yù)測(cè)殘差的近似值。根據(jù)本公開(kāi)的另一方面，提供一種用于編碼視頻的方法。基于幀內(nèi)預(yù)測(cè)模式對(duì)MXN的輸入圖像塊(X)的輸入矩陣執(zhí)行幀內(nèi)預(yù)測(cè)以產(chǎn)生預(yù)測(cè)/\_并獲得MXN幀內(nèi)預(yù)測(cè)殘差矩陣(E)。根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于E，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為水平變換，并確定應(yīng)用DCT和DST中的第二個(gè)作為垂直變換。通過(guò)將DCT和DST中的第一個(gè)用作水平變換并將DCT和DST中的第二個(gè)用作垂直變換來(lái)執(zhí)行包括水平變換和垂直變換的正變換，以計(jì)算變換系數(shù)矩陣(E2)。根據(jù)本公開(kāi)的另一方面，提供一種用于解碼視頻的設(shè)備。所述設(shè)備包括反量化器和逆變換單元。反量化器根據(jù)輸入視頻比特流的幀內(nèi)預(yù)測(cè)模式將從輸入視頻比特流獲得的量化的變換系數(shù)索引映射到MXN變換系數(shù)矩陣。使用MXN變換系數(shù)矩陣和從輸入視頻比特流獲得的幀內(nèi)預(yù)測(cè)模式，逆變換單元根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于變換系數(shù)矩陣，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為逆垂直變換，確定DCT和DST中的第二個(gè)作為逆水平變換，并通過(guò)將DCT和DST中的第一個(gè)用于逆垂直變換并將DCT和DST中的第二個(gè)用于逆水平變換來(lái)執(zhí)行包括逆垂直變換和逆水平變換的逆變換，以計(jì)算誤差預(yù)測(cè)殘差的近似值。其中，逆變換單元被進(jìn)一步配置為用于使用DCT和DST中的第一個(gè)對(duì)變換系數(shù)矩陣的N個(gè)列中的每一列執(zhí)行逆垂直變換，并使用DCT和DST中的第二個(gè)對(duì)逆垂直變換的輸出的M個(gè)行中的每一行執(zhí)行逆水平變換，以計(jì)算誤差預(yù)測(cè)殘差的近似值。其中，逆變換單元被進(jìn)一步配置為用于使用DCT和DST中的第二個(gè)對(duì)變換系數(shù)矩陣的M個(gè)行中的每一行執(zhí)行逆水平變換，并使用DCT和DST中的第一個(gè)對(duì)逆水平變換的輸出的N個(gè)列中的每一列執(zhí)行逆垂直變換，以計(jì)算誤差預(yù)測(cè)殘差的近似值。其中，逆變換單元被進(jìn)一步配置為用于當(dāng)將DST用于逆垂直變換和逆水平變換中的至少一個(gè)時(shí)執(zhí)行逆DST類(lèi)型4。其中，逆變換單元被進(jìn)一步配置為用于當(dāng)將DST用于逆垂直變換和逆水平變換中的至少一個(gè)時(shí)執(zhí)行逆DST類(lèi)型7。其中，逆DST類(lèi)型7是具有八次乘法的4X4逆DST類(lèi)型7的快速實(shí)現(xiàn)。其中，調(diào)整逆DST類(lèi)型7矩陣中的多個(gè)元素中的至少一個(gè)元素，使得所述多個(gè)元素共用公因子，將乘法的數(shù)量減少到五次。根據(jù)本公開(kāi)的又一方面，提供一種用于編碼視頻的設(shè)備。所述設(shè)備包括統(tǒng)一幀內(nèi)預(yù)測(cè)單元和變換單元。統(tǒng)一幀內(nèi)預(yù)測(cè)單元基于幀內(nèi)預(yù)測(cè)模式對(duì)MXN輸入圖像塊(X)的輸入矩陣執(zhí)行幀內(nèi)預(yù)測(cè)以產(chǎn)生交,并獲得MXN幀內(nèi)預(yù)測(cè)殘差矩陣(E)。變換單元根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于E，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為水平變換，確定應(yīng)用DCT和DST中的第二個(gè)作為垂直變換，并通過(guò)將DCT和DST中的第一個(gè)用作水平變換并將DCT和DST中的第二個(gè)用于垂直變換來(lái)執(zhí)行包括水平變換和垂直變換的正變換，以計(jì)算變換系數(shù)矩陣(E2)。其中，變換單元被進(jìn)一步配置為用于使用DCT和DST中的第一個(gè)對(duì)E的M個(gè)行中的每一行執(zhí)行水平變換，并使用DCT和DST中的第二個(gè)對(duì)水平變換的輸出的N個(gè)列中的每一列執(zhí)行垂直變換，以計(jì)算變換系數(shù)矩陣(E2)。其中，變換單元被進(jìn)一步配置為用于使用DCT和DST中的第二個(gè)對(duì)E的N個(gè)列中的每一列執(zhí)行垂直變換，并使用DCT和DST中的第一個(gè)對(duì)垂直變換的數(shù)據(jù)的輸出的M個(gè)行中的每一行執(zhí)行水平變換，以產(chǎn)生變換系數(shù)矩陣(E2)。其中，變換單元被進(jìn)一步配置為用于當(dāng)將DST用于水平變換和垂直變換中的至少一個(gè)時(shí)執(zhí)行DST類(lèi)型4。其中，變換單元被進(jìn)一步配置為用于當(dāng)將DST用于水平變換和垂直變換中的至少一個(gè)時(shí)執(zhí)行DST類(lèi)型7。其中，DST類(lèi)型7是具有九次乘法的4X4DST類(lèi)型7的快速實(shí)現(xiàn)。其中，調(diào)整DST類(lèi)型7矩陣中的多個(gè)元素中的至少一個(gè)元素，使得所述多個(gè)元素共用公因子，將乘法的數(shù)量減少到五次。在進(jìn)行以下的“本發(fā)明的模式”之前，闡明貫穿本專(zhuān)利文檔使用的某些詞語(yǔ)和短語(yǔ)的定義會(huì)是有利的:術(shù)語(yǔ)“包括”和“包含”及其派生詞表示包括但不限于；術(shù)語(yǔ)“或”是包括的，表示和/或；短語(yǔ)“與…相關(guān)”和“與其相關(guān)”及其派生詞可表示包括、被包括在內(nèi)、與…互連、包含、被包含在內(nèi)、被連接到或與…連接、結(jié)合到或與…結(jié)合、可與…通信、與…協(xié)作、交織、并列、接近、被綁定到或與…綁定、具有、具有…的特性等；并且術(shù)語(yǔ)“控制器”表示控制至少一個(gè)操作的任何裝置、系統(tǒng)或其部件，這樣的裝置可利用硬件、固件或軟件或它們之中的至少兩項(xiàng)的一些組合來(lái)實(shí)施。應(yīng)注意:與任何特定控制器關(guān)聯(lián)的功能可按本地或遠(yuǎn)程的方式被集中或被分布。貫穿本專(zhuān)利文檔，某些詞語(yǔ)和短語(yǔ)的定義被提供，本領(lǐng)域的普通技術(shù)人員應(yīng)該理解:在許多情況下(如果不是大多數(shù)情況下)，這些定義適用于如此定義的詞語(yǔ)和短語(yǔ)在以前和將來(lái)的使用。本發(fā)明的模式本申請(qǐng)涉及于2010年9月8日提`交的名為“LOW COMPLEXITY TRANSFORM CODINGUSING ADAPTIVE DCT/DST FOR INTRA PREDICTION” 的第 61/380991 號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)、于 2010 年 12 月 28 日提交的名為 “ON OPTIMALITY OF INTRA-PREDICTION MODE MAPPINGSAND LOCATION SPECIFIC CHOICE FOR ADAPTIVE DCT/DST” 的第 61/427758 號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)、于 2011 年 2 月 17 日提交的名為 “LOW COMPLEXITY ALTERNATE TO DST TYPE7INMODE-DEPENDENT DCT/DST FOR INTRA PREDICTION IN VIDEO CODING”的第 61/444045 號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)、于2011年3月4日提交的名為“FAST IMPLEMENTATION TO DST TYPE7INMODE-DEPENDENT DCT/DST FOR INTRA PREDICTION IN VIDEO CODING”的第 61/449484 號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)、于2011年4月7日提交的名為“FAST IMPLEMENTATION FOR DST TYPE7”的第61/473047號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)、于2011年4月13日提交的名為“FAST IMPLEMENTATIONFOR FORWARD AND INVERSE DST TYPE7”的第61/475120號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)。第61/380991號(hào)、第 61/427758 號(hào)、第 61/444045 號(hào)、第 61/449484 號(hào)、第 61/473047 號(hào)和第 61/475120號(hào)臨時(shí)專(zhuān)利申請(qǐng)被轉(zhuǎn)讓給本申請(qǐng)的受讓人，并由此通過(guò)引用被合并到本申請(qǐng)中，猶如在本文中被完全闡述。本申請(qǐng)由此要求第61/380991號(hào)、第61/427758號(hào)、第61/444045號(hào)、第61/449484號(hào)、第61/473047號(hào)和第61/475120號(hào)美國(guó)臨時(shí)專(zhuān)利申請(qǐng)的優(yōu)先權(quán)。下面討論圖1A至圖14以及用于在本專(zhuān)利文檔中描述本公開(kāi)的原理的各種實(shí)施例僅是作為說(shuō)明，且不應(yīng)該以任何方式被解釋為用于限制本公開(kāi)的范圍。本領(lǐng)域的技術(shù)人員將理解:本公開(kāi)的原理可被實(shí)施在任何適當(dāng)布置的視頻編碼器或解碼器中。本公開(kāi)旨在針對(duì)在用于視頻的幀內(nèi)編碼中的各種預(yù)測(cè)模式在離散正弦變換(DST )和離散余弦變換(DCT)之間進(jìn)行選擇。基于幀內(nèi)預(yù)測(cè)模式在DST和傳統(tǒng)DCT之間進(jìn)行選擇將最佳地產(chǎn)生實(shí)質(zhì)性的壓縮增益。本公開(kāi)的實(shí)施例使用低復(fù)雜度變換并僅需要一個(gè)DST變換矩陣，這將促使DST的快速實(shí)現(xiàn)。盡管將參照HEVC (高效率視頻編碼)標(biāo)準(zhǔn)來(lái)描述本公開(kāi)的實(shí)施例，但是本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到實(shí)施例也可適用于H.264/AVC標(biāo)準(zhǔn)。視頻編碼聯(lián)合協(xié)作小組(JCT-VC)正在考慮“考慮中的測(cè)試模型(TMuC)”(“TestModel under Consideration, ”ITU_T JCTVC_B205_draft002，瑞士，日內(nèi)瓦，2010 年 7 月)，以用于HEVC視頻編解碼器的標(biāo)準(zhǔn)化。圖1A示出根據(jù)本公開(kāi)的實(shí)施例的視頻編碼器的高層框圖。根據(jù)本發(fā)明的實(shí)施例，編碼器100基于編碼單元。幀內(nèi)預(yù)測(cè)單元111對(duì)在當(dāng)前幀105中的幀內(nèi)模式的預(yù)測(cè)單元執(zhí)行幀內(nèi)預(yù)測(cè)，并且運(yùn)動(dòng)估計(jì)器112和運(yùn)動(dòng)補(bǔ)償器115使用當(dāng)前幀105和參考幀145對(duì)幀間預(yù)測(cè)模式的預(yù)測(cè)單元執(zhí)行幀間預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償?；趶膸瑑?nèi)預(yù)測(cè)單元111、運(yùn)動(dòng)估計(jì)器112和運(yùn)動(dòng)補(bǔ)償器115輸出的預(yù)測(cè)單元產(chǎn)生殘差值。產(chǎn)生的殘差值經(jīng)過(guò)變換單元120和量化器122被輸出為量化的變換系數(shù)。量化的變換系數(shù)經(jīng)過(guò)反量化器130和逆變換單元132被恢復(fù)為殘差值，并且恢復(fù)的殘差值經(jīng)過(guò)去塊單元135和環(huán)路濾波單元140被后處理，并輸出為參考幀145。量化的變換系數(shù)可經(jīng)過(guò)熵編碼器125被輸出為比特流127。圖1B是根據(jù)本公開(kāi)的實(shí)施例的基于編碼單元的視頻解碼器的高層框圖。比特流155經(jīng)過(guò)解析器160，使得將被解碼的編碼圖像數(shù)據(jù)和解碼所必需的編碼信息被解析。編碼圖像數(shù)據(jù)經(jīng)過(guò)熵解碼器162和反量化器165被輸出為反量化的數(shù)據(jù)，并經(jīng)過(guò)逆變換單元170被恢復(fù)為殘差值。通過(guò)將殘差值添加到幀內(nèi)預(yù)測(cè)單元172的幀內(nèi)預(yù)測(cè)結(jié)果或運(yùn)動(dòng)補(bǔ)償器175的運(yùn)動(dòng)補(bǔ)償結(jié)果，殘差值根據(jù)矩形塊編碼單元被恢復(fù)。恢復(fù)的編碼單元經(jīng)過(guò)去塊單元180和環(huán)路濾波單元182被用于下一編碼單元或下一幀的預(yù)測(cè)。為了基于根據(jù)本發(fā)明的實(shí)施例的解碼方法執(zhí)行解碼，圖像解碼器150的組件(SP，解析器160、熵解碼器162、反量化器165、逆變換單元170、幀內(nèi)預(yù)測(cè)單元172、運(yùn)動(dòng)補(bǔ)償器175、去塊單元180和環(huán)路濾波單元182)執(zhí)行圖像解碼處理。現(xiàn)在將描述每個(gè)功能的方面。幀內(nèi)預(yù)測(cè)(111/172 ):幀內(nèi)預(yù)測(cè)利用每一幀中的空間相關(guān)性來(lái)減少表示圖片所必需的傳輸數(shù)據(jù)的量。幀內(nèi)幀(Intra-frame)本質(zhì)上是編碼的第一幀，但具有較少的壓縮量。另外，在幀間幀(inter frame)中可存在一些幀內(nèi)塊。幀內(nèi)預(yù)測(cè)涉及在幀內(nèi)進(jìn)行預(yù)測(cè)，而幀間預(yù)測(cè)涉及在幀之間進(jìn)行預(yù)測(cè)。本公開(kāi)主要集中在幀內(nèi)預(yù)測(cè)。運(yùn)動(dòng)估計(jì)(112):視頻壓縮中的基本概念是當(dāng)幀間預(yù)測(cè)被執(zhí)行時(shí)僅存儲(chǔ)幀之間的增量變化。在兩巾貞中的塊之間的差異由運(yùn)動(dòng)估計(jì)工具(MotionEstimation tool)提取。這里，預(yù)測(cè)的塊被減小為運(yùn)動(dòng)矢量和幀間預(yù)測(cè)殘差的集合。運(yùn)動(dòng)補(bǔ)償(115/175):運(yùn)動(dòng)補(bǔ)償將解碼由運(yùn)動(dòng)估計(jì)編碼的圖像。通過(guò)接收的運(yùn)動(dòng)矢量以及參考幀中的塊來(lái)完成對(duì)圖像的這種重建。變換(120/132/170):變換單元被用于在幀間幀或幀內(nèi)幀中壓縮圖像。最常用的變換是離散余弦變換(DCT)。
量化(122/130/165):量化階段通過(guò)將每個(gè)變換系數(shù)除以特定數(shù)值來(lái)減少信息的量，以減少每個(gè)變換系數(shù)值可具有的可能值的量。因?yàn)檫@使得所述值落入更窄的范圍，所以其允許熵編碼更加簡(jiǎn)短地表示所述值。去塊和環(huán)路濾波器(135/140/182):去塊的作用是用于去除由圖像的逐塊編碼引起的編碼偽影(artifact)。去塊濾波器作用于圖像塊的邊界，并去除塊偽影。環(huán)路濾波器的作用是用于最小化原始圖像像素和重建圖像像素之間的均方差。在某種程度上，環(huán)路濾波器設(shè)法最小化由逐塊編碼引起的方向偽影。這里，編碼器和解碼器的一部分已經(jīng)被示出為獨(dú)立的單元。然而，這并不旨在限制本公開(kāi)的范圍。如圖所示，編碼器100和解碼器150包括若干公共部件。在一些實(shí)施例中，編碼器和解碼器可被實(shí)現(xiàn)為集成單元，例如，編碼器的一個(gè)或多個(gè)部件可被用于解碼。此夕卜，編碼器和解碼器的一個(gè)或多個(gè)部件可被實(shí)現(xiàn)在一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、專(zhuān)用集成電路(ASIC)、處理器、微控制器或它們的組合中。圖2是根據(jù)本公開(kāi)的實(shí)施例的視頻編碼器的一部分的框圖。幀內(nèi)預(yù)測(cè)單元(在此文檔中也被稱(chēng)為“統(tǒng)一幀內(nèi)預(yù)測(cè)單元111”)采用像素的矩形塊作為輸入，并使用來(lái)自已被重建的塊的重建的像素和根據(jù)Min等人的“Unification of the Directional IntraPrediction Methods in TMuC”，ITU_T JCTVC_B100_revision02，瑞士，日內(nèi)瓦，2010 年7月(以下被稱(chēng)為“ITU-T JCTVC-B100_revision02”)的預(yù)測(cè)方向來(lái)預(yù)測(cè)這些像素。存在不同數(shù)量的可用幀內(nèi)預(yù)測(cè)模式，其中，所述可用幀內(nèi)預(yù)測(cè)模式具有來(lái)自如由“UnifiedDirectional Intra Prediction (ITU-T JCTVC_B100_revision02)” 規(guī)定的用于各種預(yù)測(cè)單元的幀內(nèi)預(yù)測(cè)方向(例如，用于4X4預(yù)測(cè)單元的17種幀內(nèi)預(yù)測(cè)方向、用于8X8、16X 16和32X32預(yù)測(cè)單元的34種幀內(nèi)預(yù)測(cè)方向、用于64X64預(yù)測(cè)單元的5種預(yù)測(cè)方向)的一對(duì)一的映射。然而，由于本公開(kāi)的范圍不限于此，因此這些僅是示例。各種幀內(nèi)預(yù)測(cè)模式將在下面被進(jìn)一步描述。在預(yù)測(cè)之后，變換單元120沿水平方向和垂直方向兩者來(lái)應(yīng)用變換(例如，DCT/DST)。根據(jù)幀內(nèi)預(yù)測(cè)模式，所述變換(沿水平方向和垂直方向)可以是傳統(tǒng)DCT或所提出的DST。變換之后為量化器122，其中，量化器122通過(guò)將每個(gè)變換系數(shù)除以特定數(shù)值來(lái)減少信息的量，以減少變換系數(shù)可具有的可能值的量。因?yàn)檫@使得所述值落入更窄的范圍，所以其允許熵編碼更加簡(jiǎn)短地表示所述值并有助于壓縮。在幀內(nèi)預(yù)測(cè)單元110中，當(dāng)從沿由幀內(nèi)預(yù)測(cè)方向模式(例如，“Test Model underConsideration”，ITU-T JCTVC_B205_draft002，瑞士，日內(nèi)瓦，2010 年 7 月(以下被稱(chēng)為“ITU-T JCTVC-B205_draft002”)和 ITU-T JCTVC_B100_revision02”)規(guī)定的方向的像素執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)，幀內(nèi)預(yù)測(cè)模式可被劃分為三種類(lèi)別。本公開(kāi)將描述針對(duì)所有的以下三種類(lèi)別來(lái)得出新的自適應(yīng)最佳變換:1、類(lèi)別I斜向模式(圖3A和圖3B):這里，完全從來(lái)自以下項(xiàng)中的任何一項(xiàng)的解碼像素執(zhí)行預(yù)測(cè):第一行(例如，頂行)像素或第一列(例如，左側(cè)列)像素。如ITU-TJCTVC-B205_draft002中所述的垂直模式“O”和水平模式“ I ”是此斜向模式的特殊情況。2、類(lèi)別2斜向模式(圖4):這里，從第一行(例如，頂行)像素和第一列(例如，左側(cè)列)像素兩者執(zhí)行預(yù)測(cè)。3、DC模式(圖5):這里，從所有可用的解碼像素的平均值執(zhí)行預(yù)測(cè)，這類(lèi)似于H.264/AVC，也在 ITU-T JCTVC-B205_draft002 中有如此規(guī)定。將參照?qǐng)D6至圖11進(jìn)一步解釋幀內(nèi)預(yù)測(cè)方向模式的所述三種類(lèi)別。圖6是示出根據(jù)本公開(kāi)的實(shí)施例的得出用于類(lèi)別I斜向模式的變換的示圖。這里，沿由箭頭示出的方向從第一行(例如，頂行)執(zhí)行預(yù)測(cè)。在另一實(shí)施例中，第一行可不必是頂行。在可選擇的實(shí)施例(類(lèi)似于圖3B)中，可從第一列(例如，左側(cè)行)執(zhí)行預(yù)測(cè)。具體說(shuō)來(lái)，(dx，dy)對(duì)分別指示水平距離和垂直距離，并可指示預(yù)測(cè)方向。下面的等式I假設(shè)高斯-馬爾可夫模型用于一維線(xiàn)(行或列)背景下的圖像像素(在以下討論中，當(dāng)我們意指一維線(xiàn)時(shí)我們使用“列”):Xk=PXk-Jek[等式 I]其中，P是像素之間的相關(guān)系數(shù)，ek是具有零均值和方差1-P2的白噪聲過(guò)程，并且行/列索引k=0…N。這里，Xtl指示邊界像素，并且X1至xN是將被編碼的像素。像素Xk和像素X1之間的相關(guān)性由等式2給出:Rkl=P lk^1'[等式 2]其中，Rkl (也被解釋為Riu)指示像素Xk和像素X1之間的相關(guān)性，I和k指示列索弓I。對(duì)于2D圖像情況，我們假設(shè)沿水平方向和垂直方向的可分離模型。因此，根據(jù)等式3指示像素Xij和像素X.(也被表示為Xiij和xm，n)之間的相關(guān)性:P li^ml P lj_n|= P[等式 3]其中，i指示像素Xu的行索引，m指示像素Xnm的行索引，j指示像素Xu的列索引，并且η指示像素Xmn的列索引。在圖6中,像素Xqq、Xtll、Xtl2、…Xqn和Xltl、X2tl、…Xnq指示已經(jīng)被編碼的邊界像素(例如，第一行和第一列)。像素Xu (i，je U..N})指示將被編碼的像素。設(shè)根據(jù)下面的等式4給出對(duì)像素的預(yù)測(cè):
Xij = Χ0(β+β[等式 4]其中，Sy指示對(duì)像素Xu的預(yù)測(cè)，并且α (非負(fù)數(shù))指示從像素Χ(Κα+Λ (像素χ0(α+β
為第一行上用于預(yù)測(cè)Xij的像素)到像素Xij的水平距離。應(yīng)注意:當(dāng)a不是整數(shù)時(shí)，像素x0(a+J)以任何方式(例如，如在ITU-T JCTVC-B205_draft002中所規(guī)定的，從相鄰的兩個(gè)相鄰像素)被插入，但為了簡(jiǎn)單起見(jiàn)，我們僅將預(yù)測(cè)值保持為χ+Μ，以用于分析目的。通過(guò)相似三角形的屬性，我們可得出等式5:α = ^1 [等式 5]
yy)因此，根據(jù)等式6給出預(yù)測(cè)誤差殘差:€y = Xij — Xi = Xij — X0( +i)[等式 6]根據(jù)等式7給出用于MXN圖像塊的誤差殘差的整體矩陣:E = X-X[等式 7]其中，X是原始MXN圖像塊，并且芡是其預(yù)測(cè)。根據(jù)等式6給出矩陣E的元素“ij”。假設(shè)可分離的像素模型，我們?cè)O(shè)法找到針對(duì)以上預(yù)測(cè)殘差矩陣沿垂直方向和水平方向兩者的最佳變換。具體地，為了找到E的列的垂直變換，確定使相應(yīng)列的自相關(guān)矩陣對(duì)角化的矩陣。類(lèi)似地，對(duì)于用于E的特定行的水平變換，我們尋找使所述特定行的自相關(guān)矩陣對(duì)角化的矩陣。例如，我們首先根據(jù)等式8考慮E的列“ j”:
權(quán)利要求
1.種用于解碼視頻的方法，包括: 根據(jù)輸入視頻比特流的幀內(nèi)預(yù)測(cè)模式，將輸入視頻比特流的系數(shù)映射到MXN變換系數(shù)矩陣； 根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于變換系數(shù)矩陣，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為逆垂直變換，并確定應(yīng)用DCT和DST中的第二個(gè)作為逆水平變換； 通過(guò)將DCT和DST中的第一個(gè)用于逆垂直變換并將DCT和DST中的第二個(gè)用于逆水平變換來(lái)執(zhí)行包括逆垂直變換和逆水平變換的逆變換，以計(jì)算誤差預(yù)測(cè)殘差的近似值。
2.權(quán)利要求1所述的方法 ，其中，執(zhí)行逆變換的步驟包括: 使用DCT和DST中的第一個(gè)對(duì)變換系數(shù)矩陣的N個(gè)列中的每一列執(zhí)行逆垂直變換； 使用DCT和DST中的第二個(gè)對(duì)所述逆垂直變換的輸出的M個(gè)行中的每一行執(zhí)行逆水平變換，以計(jì)算誤差預(yù)測(cè)殘差的近似值。
3.權(quán)利要求1所述的方法，其中，執(zhí)行逆變換的步驟包括: 使用DCT和DST中的第二個(gè)對(duì)變換系數(shù)矩陣的M個(gè)行中的每一行執(zhí)行逆水平變換； 使用DCT和DST中的第一個(gè)對(duì)所述逆水平變換的輸出的N個(gè)列中的每一列執(zhí)行逆垂直變換，以計(jì)算誤差預(yù)測(cè)殘差的近似值。
4.權(quán)利要求1所述的方法，其中，執(zhí)行DST的步驟包括執(zhí)行逆DST類(lèi)型4。
5.權(quán)利要求1所述的方法，其中，執(zhí)行DST的步驟包括逆DST類(lèi)型7，其中，逆DST類(lèi)型7是具有八次乘法的4X4逆DST類(lèi)型7的快速實(shí)現(xiàn)。
6.權(quán)利要求5所述的方法，其中，調(diào)整逆DST類(lèi)型7矩陣中的多個(gè)元素中的至少一個(gè)元素，使得所述多個(gè)元素共用公因子，將乘法的數(shù)量減少到五次。
7.種用于編碼視頻的方法，包括: 基于幀內(nèi)預(yù)測(cè)模式對(duì)MXN輸入圖像塊(X)的輸入矩陣執(zhí)行幀內(nèi)預(yù)測(cè)，以產(chǎn)生X并獲得MXN幀內(nèi)預(yù)測(cè)殘差矩陣(E); 根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于E，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為水平變換，并確定應(yīng)用DCT和DST中的第二個(gè)作為垂直變換； 通過(guò)將DCT和DST中的第一個(gè)用作水平變換并將DCT和DST中的第二個(gè)用于垂直變換來(lái)執(zhí)行包括水平變換和垂直變換的正變換，以計(jì)算變換系數(shù)矩陣(E2)。
8.權(quán)利要求7所述的方法，其中，執(zhí)行正變換的步驟包括: 使用DCT和DST中的第一個(gè)對(duì)E的M個(gè)行中的每一行執(zhí)行水平變換； 使用DCT和DST中的第二個(gè)對(duì)所述水平變換的輸出的N個(gè)列中的每一列執(zhí)行垂直變換，以計(jì)算變換系數(shù)矩陣(E2)。
9.權(quán)利要求7所述的方法，其中，執(zhí)行正變換的步驟包括: 使用DCT和DST中的第二個(gè)對(duì)E的N個(gè)列中的每一列執(zhí)行垂直變換； 使用DCT和DST中的第一個(gè)對(duì)所述垂直變換的輸出的M個(gè)行中的每一行執(zhí)行水平變換，以計(jì)算變換系數(shù)矩陣(E2)。
10.權(quán)利要求7所述的方法，其中，執(zhí)行DST的步驟包括執(zhí)行DST類(lèi)型4。
11.權(quán)利要求7所述的方法，其中，執(zhí)行DST的步驟包括執(zhí)行DST類(lèi)型7，其中，DST類(lèi)型7是具有九次乘法的4X4DST類(lèi)型7的快速實(shí)現(xiàn)。
12.權(quán)利要求11所述的方法，其中，調(diào)整DST類(lèi)型7中的多個(gè)元素中的至少一個(gè)元素，使得所述多個(gè)元素共用公因子，將乘法的數(shù)量減少到五次。
13.種用于解碼視頻的設(shè)備，包括: 反量化器，被配置為用于根據(jù)輸入視頻比特流的幀內(nèi)預(yù)測(cè)模式將從輸入視頻比特流獲得的量化的變換系數(shù)索引映射到MXN變換系數(shù)矩陣； 逆變換單元，被配置為用于根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于變換系數(shù)矩陣，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為逆垂直變換，并確定應(yīng)用DCT和DST中的第二個(gè)作為逆水平變換，通過(guò)將DCT和DST中的第一個(gè)用于逆垂直變換并將DCT和DST中的第二個(gè)用于逆水平變換來(lái)執(zhí)行包括逆垂直變換和逆水平變換的逆變換，以計(jì)算誤差預(yù)測(cè)殘差的近似值。
14.種用于編碼視頻的設(shè)備，包括: 統(tǒng)一幀內(nèi)預(yù)測(cè)單元，被配置為用于基于幀內(nèi)預(yù)測(cè)模式對(duì)MXN輸入圖像塊(X)的輸入矩陣執(zhí)行幀內(nèi)預(yù)測(cè)，以產(chǎn)生f并獲得MXN幀內(nèi)預(yù)測(cè)殘差矩陣(E)； 變換單元，被配置為用于根據(jù)幀內(nèi)預(yù)測(cè)模式，對(duì)于E，確定應(yīng)用離散余弦變換(DCT)和離散正弦變換(DST)中的第一個(gè)作為水平變換，并確定應(yīng)用DCT和DST中的第二個(gè)作為垂直變換，并通過(guò)將DCT和DST中的第一個(gè)用作水平變換并將DCT和DST中的第二個(gè)用作垂直變換來(lái)執(zhí)行包括 水平變換和垂直變換的正變換，以計(jì)算變換系數(shù)矩陣(E2)。
全文摘要
一種方法和設(shè)備通過(guò)確定是否將離散余弦變換(DCT)和DST用于水平變換和垂直變換中的每一個(gè)來(lái)編碼并解碼視頻。在編碼期間，基于為M×N輸入圖像塊確定的幀內(nèi)預(yù)測(cè)模式來(lái)執(zhí)行幀內(nèi)預(yù)測(cè)以獲得M×N幀內(nèi)預(yù)測(cè)殘差矩陣(E)?；趲瑑?nèi)預(yù)測(cè)模式，根據(jù)幀內(nèi)預(yù)測(cè)模式使用DCT和DST中的一個(gè)來(lái)執(zhí)行水平變換和垂直變換中的每一個(gè)。在解碼期間，從輸入視頻比特流確定幀內(nèi)預(yù)測(cè)模式。使用反量化器從視頻比特流獲得誤差殘差的M×N變換系數(shù)矩陣。基于幀內(nèi)預(yù)測(cè)模式，對(duì)于逆垂直變換和逆水平變換中的每一個(gè)執(zhí)行DCT和DST中的一個(gè)。
文檔編號(hào)H04N7/34GK103098473SQ201180043432
公開(kāi)日2013年5月8日 申請(qǐng)日期2011年9月8日 優(yōu)先權(quán)日2010年9月8日
發(fā)明者安克·塞克森納, 費(fèi)利克斯·卡洛斯·費(fèi)爾南德斯 申請(qǐng)人:三星電子株式會(huì)社