本申請是分案申請，其原案申請是申請?zhí)枮閜ct/kr2011/004892、申請日為2011年7月4日的pct申請并且于2013年2月1日進入中國國家階段，國家申請?zhí)枮?01180038054.1，名稱為“用于幀內預測的編碼/解碼圖像的裝置和方法”。

本發(fā)明針對解碼圖像，并且更具體地針對可以應用于幀內預測的解碼圖像的方法。

背景技術：

在一般圖像壓縮方法中，一個圖片被分為多個塊，每個塊具有預定尺寸。幀間預測和幀內預測技術用于去除圖片之間的冗余，以便增加壓縮效率。

使用幀間預測的編碼圖像的方法根據當前塊周圍的塊(已經編碼的，諸如當前幀(或圖片)中上塊、左塊、左上塊和右上塊)中像素值基于塊之間的像素相關性來預測像素值，并且傳送它們的預測誤差。

在幀間編碼中，在若干預測方向之間(水平、垂直、對角或平均等)，選擇最佳預測模式(預測方向)以適合于要被編碼的圖像的特性。

在現(xiàn)有h.264/avc標準中，在幀間預測編碼應用于4×4像素單元塊的情況下，在9個預測模式之中(預測模式0至8)，每4×4像素塊選擇一個最適當?shù)念A測模式，并且基于每4×4像素塊對選擇的預測模式(預測方向)進行編碼。此外，在幀間預測編碼應用于16×16像素單元塊的情況下，在4個預測模式之中(垂直預測、水平預測、平均預測和平面預測)，每16×16像素塊選擇一個最適當?shù)念A測模式，并且基于每16×16像素塊對選擇的預測模式(預測方向)進行編碼。

在現(xiàn)有幀內編碼中，僅對m×m方型對稱像素塊(m＝4,8或16)預定義預定數(shù)目的預測方向，以執(zhí)行幀內預測編碼。也就是說，傳統(tǒng)地，僅m×m尺寸對稱分割被應用于幀間預測編碼，使得方型對稱塊用作幀內預測編碼的基本單元。

技術實現(xiàn)要素：

技術問題

因為當僅使用傳統(tǒng)對稱像素塊執(zhí)行幀內預測時增加編譯效率存在限制，所以需要增加編譯效率的方法。

特別地，因為當僅使用對稱像素塊對具有hd(高清)或更高分辨率的高分辨率圖像執(zhí)行幀內預測時增加編譯效率存在限制，所以需要增加編譯效率的方法。

本發(fā)明的第一個目的是提供一種可應用于具有hd(高清)或更高分辨率的高分辨率圖像的幀內預測編碼方法和裝置。

本發(fā)明的第二個目的是提供一種可應用于具有hd(高清)或更高分辨率的高分辨率圖像的幀內預測解碼方法和裝置。

技術方案

為了實現(xiàn)本發(fā)明的上述第一個目的，根據本發(fā)明的一方面，對圖像編碼的方法包括如下步驟：通過選擇性地使用多個預測模式之一對通過將非對稱分割和幾何分割中的至少一種應用于輸入圖像劃分的預測單元執(zhí)行幀內預測編碼，以便對輸入圖像進行預測編碼；以及對殘差執(zhí)行變換、量化和熵編碼，所述殘差是通過幀內預測所預測的預測單元與當前的預測單元之間的差?？梢酝ㄟ^沿垂直方向、水平方向、平均值預測、對角右下方向和對角左下方向中的一個使用在早于預測單元編碼的塊中的像素值，預測非對稱分割的預測單元中的像素值。

為了實現(xiàn)本發(fā)明的上述第二個目的，根據本發(fā)明的一方面，對圖像解碼的方法包括如下步驟：通過對接收到的比特流進行熵解碼并且通過對殘差執(zhí)行逆量化和逆變換來恢復殘差；通過選擇性地使用多個預測模式之一對通過應用非對稱分割和幾何分割中的至少一種劃分的預測單元執(zhí)行幀內預測編碼，生成預測單元；以及通過將殘差與預測相加來恢復圖像。

可以通過沿垂直方向、水平方向、平均值預測、對角右下方向和對角左下方向中的一個使用在早于預測單元編碼的塊中的像素值，預測非對稱分割的預測單元中的像素值?？梢酝ㄟ^沿在整個360°內的全方向上以相同預定角度形成的線，使用在早于預測單元編碼的塊中的像素值，預測非對稱分割的預測單元中的像素值?？梢曰谙薅ㄐ甭实膁x和dy的信息，沿具有與具有沿水平方向的dx和沿垂直方向的dy的斜率相對應的角度的線，使得非對稱分割的預測單元中的像素值經受幀內預測?？梢允褂迷缬陬A測單元編碼的左側塊和上端塊中的垂直和/或水平方向對應像素值，獲得位于預測單元的最右和最下端的像素的預測像素值?？梢酝ㄟ^使用早于預測單元編碼的左側塊和上端塊中的垂直和/或水平方向的對應像素值以及預測單元中的垂直和/或水平方向的對應內像素值，執(zhí)行線性插值，來獲得位于預測單元的最右和最下端的像素的像素值?？梢酝ㄟ^使用與當前預測單元相鄰放置的先前編碼的左側塊和上端塊中的垂直和/或水平方向的像素值以及與第n-1圖片的對應預測單元相鄰放置的先前編碼的左側塊和上端塊中的垂直和/或水平方向的對應像素值，獲得平均值或執(zhí)行線性插值，來獲得位于第n圖片的當前的預測單元的最右和最下端的像素的預測像素值。

為了實現(xiàn)本發(fā)明的上述第二個目的，根據本發(fā)明的另一方面，用于對圖像解碼的裝置包括：逆變換單元，該逆變換單元被配置為通過對接收到的比特流進行熵解碼并且通過對殘差執(zhí)行逆量化和逆變換來重構殘差；幀內預測單元，該幀內預測單元被配置為通過選擇性地使用多個預測模式之一對通過應用非對稱分割和幾何分割中的至少一種劃分的預測單元執(zhí)行幀內預測編碼，生成預測單元；以及加法器，該加法器被配置為通過將殘差與預測相加來重構圖像。

有益效果

根據上述幀內預測編碼/解碼方法和裝置，幀內預測編碼/解碼方法和裝置可以通過對具有非對稱形狀或具有尺寸m×n的任何幾何形狀的像素塊應用幀內預測編碼/解碼來增強具有hd或超hd分辨率的高分辨率圖像的編碼效率。

附圖說明

圖1是圖示根據本發(fā)明的一個示例實施例的遞歸編譯單元結構的概念圖。

圖2至圖5是圖示根據本發(fā)明的一個示例實施例的非對稱分割方法的概念圖。

圖6是圖示根據本發(fā)明的一個示例實施例的使用非對稱像素塊的幀內預測編碼方法的概念圖。

圖7至圖9是圖示根據本發(fā)明的另一示例實施例的使用非對稱像素塊的幀內預測編碼方法的概念圖。

圖10是圖示根據本發(fā)明的另一示例實施例的基于平面預測的幀內預測編碼方法的概念圖。

圖11是圖示根據本發(fā)明的另一示例實施例的基于平面預測的幀內預測編碼方法的概念圖。

圖12是圖示根據本發(fā)明的另一示例實施例的幾何分割處理的概念圖。

圖13是圖示根據本發(fā)明的一個示例實施例的執(zhí)行幀內預測編碼的圖像編碼裝置的配置的框圖。

圖14是圖示根據本發(fā)明的一個示例實施例的應用幀內預測編碼的圖像編碼方法的流程圖。

圖15是圖示根據本發(fā)明的一個示例實施例的圖像解碼裝置的配置的框圖。

圖16是圖示根據本發(fā)明的一個示例實施例的圖像解碼方法的流程圖。

具體實施方式

可以對本發(fā)明進行各種修改，并且本發(fā)明可以具有多個實施例。參照附圖詳細描述具體實施例。

然而，本發(fā)明不限于特定實施例，并且應當理解本發(fā)明包括在本發(fā)明的精神和技術范圍內包括的所有修改、等同物或替換。

術語“第一”和“第二”可以用于描述各種組件，但是組件不限于此。這些術語僅用于將組件彼此區(qū)分。例如，第一組件也可以命名為第二組件，并且類似地，第二組件可以命名為第一組件。術語“和/或”包括如在此描述的多個相關項的組合或者多個相關項的任何一個。

當組件“連接”或“耦合”到另一組件時，組件可以直接連接或耦合到另一組件。相反，當組件直接連接或耦合到另一組件時，沒有組件干預。

給出在此使用的術語來描述實施例，但是并不意在限制本發(fā)明。單數(shù)術語包括復數(shù)術語，除非明確指明。如在此使用的，術語“包括”或“具有”用于指示存在如在此描述的特征、數(shù)字、步驟、操作、組件、部分或其組合，但是不排除添加一個或多個特征、數(shù)字、步驟、操作、組件、部分或其組合的存在或可能性。

除非另有限定，在此使用的包括技術或科學術語的所有術語具有與本領域普通技術人員通常理解的含義相同的含義。如通常使用的在字典中定義的這樣的術語應當被解釋為與相關技術領域中理解的含義相同的含義，并且除非另外定義，不應當理想地或過于正式地被理解。

在下文中，將參照附圖更加詳細地描述本發(fā)明的優(yōu)選實施例。為了方便描述，在整個附圖和說明書中，相同的參考標號用于表示相同的組件，并且不對其進行重復描述。

根據本發(fā)明的示例實施例，可以使用可應用于具有hd(高清晰度)或更高分辨率的高分辨率圖像的尺寸32×32像素或更大的擴展宏塊來執(zhí)行包括幀間/幀內預測、變換、量化和熵編碼的編碼和解碼，并且可以使用下面將描述的遞歸編譯單元(cu)結構進行編碼和解碼。

圖1是圖示根據本發(fā)明的實施例的遞歸編譯單元結構的概念圖。

參照圖1，每個編譯單元cu具有正方形，并且可以具有可變尺寸2n×2n(單位：像素)?？梢曰诿總€編譯單元來執(zhí)行幀間預測、幀內預測、變換、量化和熵編碼。編譯單元cu可以包括最大編譯單元lcu和最小編譯單元scu。最大編譯單元lcu或最小編譯單元scu的尺寸可以通過2的冪來表示，其可以是8或者更大。

根據示例實施例，編譯單元cu可以具有遞歸樹結構。圖1圖示最大編譯單元lcu(或cu0)的一邊具有尺寸2n0(其為128(n0＝64))而最大等級或等級深度為5的示例。可以通過一系列標記來表示遞歸結構。例如，在等級或等級深度為k的編譯單元cuk具有標記值0的情況下，在當前等級或等級深度對編譯單元cuk執(zhí)行編譯。當標記值為1時，將編譯單元cuk分成4個獨立的編譯單元cuk+1，編碼單元cuk+1具有等級或等級深度k+1且尺寸為nk+1×nk+1。在此情況下，可以遞歸地處理編譯單元cuk+1，直到其等級或等級深度達到可允許最大等級或等級深度。當編譯單元cuk+1的等級或等級深度與可允許最大等級或等級深度(如圖4所示，例如，4)相同時，不允許進一步劃分。

最大編譯單元lcu和最小編譯單元scu的尺寸可以包括在序列參數(shù)集(sps)中。序列參數(shù)集sps可以包括最大編譯單元lcu的可允許最大等級或等級深度。例如，在圖2中圖示的示例中，可允許最大等級或等級深度是5，并且當最大編譯單元lcu的一邊具有尺寸128像素時，可以允許五個編譯單元尺寸，諸如128×128(lcu)、64×64、32×32、16×16和8×8(scu)。也就是說，給定最大編譯單元lcu的尺寸和可允許最大等級或等級深度，可以確定編譯單元的可允許尺寸。

使用上述遞歸編譯單元可以提供以下優(yōu)點。

第一，可以支持大于現(xiàn)有16×16宏塊的尺寸的尺寸。如果感興趣的圖像區(qū)域是均勻的，則與使用多個小塊時相比，最大編譯單元lcu可以用較少數(shù)目的符號表示感興趣的圖像區(qū)域。

第二，與使用固定尺寸的宏塊時相比，可以支持任何尺寸的最大編譯單元lcu，使得對于各種內容、應用和裝置，可以容易地優(yōu)化編解碼器。也就是說，可以適當?shù)剡x擇最大編譯單元lcu的尺寸、最大等級或等級深度，使得除了目標應用之外，可以優(yōu)化分層塊結構。

第三，不管是宏塊、子宏塊還是擴展宏塊，可以使用單個單元類型的編譯單元lcu，使得可以僅通過使用最大編譯單元lcu、最大等級(或最大等級深度)和一系列標記簡單表示多級分層結構。當與尺寸獨立的語法表示一起使用時，編譯單元lcu足以指示用于剩余編譯工具的一個通用尺寸語法項，并且這樣的一致性可以簡化實際的解析處理。最大等級值(或最大等級深度值)可以是任何值，并且可以具有大于現(xiàn)有h.264/avc編碼方案中的允許值。通過使用尺寸獨立的語法表示按照與編譯單元cu的尺寸獨立的一致方式指示所有語法元素?？梢赃f歸地指示編譯單元的劃分處理，并且葉編譯單元(該等級中的最后一個編譯單元)的語法元素可以被限定為相同尺寸而不考慮編譯單元的尺寸。上述表示在減小解析復雜度方面非常有效，并且當允許高等級或等級深度時，可以對這種表示作出進一步澄清。

如果分層劃分處理完成，則可以在編譯單元分層單元的葉節(jié)點上執(zhí)行幀間預測或幀內預測，而無需進一步劃分。此葉編譯單元用作預測單元pu，其是幀間預測或幀內預測的基本單元。

對于幀間預測或幀內預測，在葉編譯單元上實現(xiàn)分割。也就是說，在預測單元pu上執(zhí)行分割。在此，預測單元pu是幀間預測或幀內預測的基本單元，并且可以是現(xiàn)有宏塊單元或子宏塊單元，或者尺寸為32×32像素或更大的擴展宏塊單元或編譯單元。

與預測相關的所有信息(運動向量、運動向量之間的差等)可以以作為幀間預測的基本單元的預測單元為單位被傳送到解碼器。

對于幀間預測或幀內預測，分割可以包括非對稱分割，除了正方形之外的任何形狀的幾何分割，或者沿邊緣方向的分割，現(xiàn)將更加詳細地對其進行描述。

圖2至圖5是圖示根據實施例的非對稱分割的概念圖。

當用于幀間預測或幀內預測的預測單元pu具有m×m(m是自然數(shù)，尺寸單位是像素)的尺寸時，沿編譯單元的水平或垂直方向執(zhí)行非對稱分割。圖3至圖5圖示預測單元pu的尺寸是64×64、32×32、16×16、8×8像素的示例。圖3和圖4圖示其中預測單元pu的尺寸大于作為宏塊尺寸16×16像素的非對稱分割。

參照圖2，在尺寸為64×64的情況下，沿水平方向進行非對稱分割，以將預測單元分成尺寸為64×16的部分p11a和尺寸為64×48的部分p21a，或者分成尺寸為64×48的部分p12a和尺寸為64×16的部分p22a。或者，沿垂直方向執(zhí)行非對稱分割，以將預測單元分成尺寸為16×64的部分p13a和尺寸為48×64的部分p23a，或者分成尺寸為48×64的部分p14a和尺寸為16×64的部分p24a。

參照圖3，在尺寸為32×32的情況下，預測單元可以經受水平方向非對稱分割，以分成尺寸為32×8的部分p11b和尺寸為32×24的部分p21b，或者分成尺寸為32×24的部分p12b和尺寸為32×8的部分p22b?；蛘撸A測單元可以經受垂直方向非對稱分割，以分成尺寸為8×32的部分p13b和尺寸為24×32的部分p23b，或者分成尺寸為24×32的部分p14b和尺寸為8×32的部分p24b。

參照圖4，在尺寸為16×16的情況下，預測單元pu可以經受水平方向非對稱分割，以分成尺寸為16×4的部分p11c和尺寸為16×12的部分p21c，或者分成尺寸為16×12的上部分和尺寸為16×4的下部分(盡管在附圖中沒有示出)。此外，盡管在附圖中沒有示出，但是預測單元pu可以經受垂直方向非對稱分割，以分成尺寸為4×16的左部分和尺寸為12×16的右部分，或者分成尺寸為12×16的左部分和尺寸為4×16的右部分。

參照圖5，在尺寸為8×8的情況下，預測單元pu可以經受水平方向非對稱分割，以分成尺寸為8×2的部分p11d和尺寸為8×6的部分p21d，或者分成尺寸為8×6的上部分和尺寸為8×2的下部分(盡管在附圖中沒有示出)。此外，盡管在附圖中沒有示出，但是預測單元pu可以經受垂直方向非對稱分割，以分成尺寸為2×8的左部分和尺寸為6×8的右部分，或者分成尺寸為6×8的左部分和尺寸為2×8的右部分。

圖6是圖示根據本發(fā)明的實施例的使用非對稱像素塊的幀內預測編碼方法的概念圖。

圖7至9是圖示根據本發(fā)明的另一實施例的使用非對稱像素塊的幀內預測編碼方法的概念圖。圖6至圖9圖示了當使用結合圖2至圖5描述的非對稱分割時幀內預測的示例。然而，本發(fā)明不限于此。圖6至圖9所示的幀內預測編碼方法也可應用于使用圖2至圖5中所示的各種類型的非對稱分割。

圖6是用于描述對尺寸為8×2的部分p11d執(zhí)行幀內預測的預測模式的示圖，該部分p11d通過在水平方向上對尺寸為8×8的預測單元pu執(zhí)行非對稱分割來獲得。

參照圖6，使用沿預測方向在先前編碼的塊中的像素值來預測尺寸為8×2的部分p11d中的像素值，所述預測方向包括垂直方向(預測模式0)、水平方向(預測模式1)、平均值預測(預測模式2)、對角右下方向(預測模式3)和對角左下方向(預測模式4)。

例如，在預測模式0的情況下，由于預測像素值處于尺寸為8×2的部分p11d中，使用先前編碼的上塊中沿垂直方向放置的像素值。

在預測模式1的情況下，由于預測像素值處于尺寸為8×2的部分p11d中，使用先前編碼的左塊中沿水平方向放置的像素值。

在預測模式2的情況下，由于預測像素值處于尺寸為8×2的部分p11d中，使用先前編碼的左塊和上塊中的像素的平均值。

在預測模式3的情況下，由于預測像素值處于尺寸為8×2的部分p11d中，使用先前編碼的上塊中沿對角右下方向放置的像素值。在預測模式3的情況下，當部分p11d的上塊中的像素不充足時，可以使用右上塊中的兩個像素彌補。

在預測模式4的情況下，由于預測像素值處于尺寸為8×2的部分p11d中，使用先前編碼的左上塊中沿對角左下方向放置的像素值。

圖7圖示對尺寸為8×6的部分p21d執(zhí)行幀內預測的預測模式，該部分p21d通過在水平方向上對尺寸為8×8的預測單元pu執(zhí)行非對稱分割來獲得。

參照圖7，使用沿預測方向在先前編碼的塊中的像素值來預測尺寸為8×6的部分p21d中的像素值，所述預測方向包括垂直方向(預測模式0)、水平方向(預測模式1)、平均值預測(預測模式2)、對角右下方向(預測模式3)和對角左下方向(預測模式4)。

例如，在預測模式0的情況下，由于預測像素值位于尺寸為8×6的部分p21d中，使用先前編碼的上塊中沿垂直方向放置的像素值。

在預測模式1的情況下，由于預測像素值處于尺寸為8×6的部分p21d中，使用先前編碼的左塊中沿水平方向放置的像素值。

在預測模式2的情況下，由于預測像素值處于尺寸為8×6的部分p21d中，使用先前編碼的左塊和上塊中的像素的平均值。

在預測模式3的情況下，由于預測像素值處于尺寸為8×6的部分p21d中，使用先前編碼的上塊中沿對角右下方向放置的像素值。在預測模式3的情況下，當部分p21d的上塊中的像素不充足時，可以使用右上塊中的兩個像素彌補。

在預測模式4的情況下，由于預測像素值處于尺寸為8×6的部分p21d中，使用先前編碼的左上塊中沿對角左下方向放置的像素值。

圖8圖示了對尺寸為16×4的部分p11c執(zhí)行幀內預測的預測模式，該部分p11c通過在水平方向上對尺寸為16×16的預測單元pu執(zhí)行非對稱分割來獲得。

參照圖8，使用沿預測方向在先前編碼的塊中的像素值來預測尺寸為16×4的部分p11c中的像素值，所述預測方向包括垂直方向(預測模式0)、水平方向(預測模式1)、平均值預測(預測模式2)、對角右下方向(預測模式3)和對角左下方向(預測模式4)。

例如，在預測模式0的情況下，由于預測像素值處于尺寸為16×4的部分p11c中，使用先前編碼的上塊中沿垂直方向放置的像素值。

在預測模式1的情況下，由于預測像素值處于尺寸為16×4的部分p11c中，使用先前編碼的左塊中沿水平方向放置的像素值。

在預測模式2的情況下，由于預測像素值處于尺寸為16×4的部分p11c中，使用先前編碼的左塊和上塊中的像素的平均值。

在預測模式3的情況下，由于預測像素值處于尺寸為16×4的部分p11c中，使用先前編碼的上塊中沿對角右下方向放置的像素值。在預測模式3的情況下，當部分p11c的上塊中的像素不充足時，可以使用右上塊中的四個像素彌補。

在預測模式4的情況下，由于預測像素值處于尺寸為16×4的部分p11c中，使用先前編碼的左上塊中沿對角左下方向放置的像素值。

圖9圖示了對尺寸為32×8的部分p11b執(zhí)行幀內預測的預測模式，該部分p11b通過在水平方向上對尺寸為32×32的預測單元pu執(zhí)行非對稱分割來獲得。

參照圖9，使用沿預測方向先前編碼的塊中的像素值來預測尺寸為32×8的部分p11b中的像素值，所述預測方向包括垂直方向(預測模式0)、水平方向(預測模式1)、平均值預測(預測模式2)、對角右下方向(預測模式3)和對角左下方向(預測模式4)。

例如，在預測模式0的情況下，由于預測像素值處于尺寸為32×8的部分p11b中，使用先前編碼的上塊中沿垂直方向放置的像素值。

在預測模式1的情況下，由于預測像素值處于尺寸為32×8的部分p11b中，使用先前編碼的左塊中沿水平方向放置的像素值。

在預測模式2的情況下，由于預測像素值處于尺寸為32×8的部分p11b中，使用先前編碼的左塊和上塊中的像素的平均值。

在預測模式3的情況下，由于預測像素值處于尺寸為32×8的部分p11b中，使用先前編碼的上塊中沿對角右下方向放置的像素值。在預測模式3的情況下，當部分p11b的上塊中的像素不充足時，可以使用右上塊中的八個像素彌補。

在預測模式4的情況下，由于預測像素值處于尺寸為32×8的部分p11b中，使用先前編碼的左上塊中沿對角左下方向放置的像素值。

圖6至9圖示了對于非對稱分割塊的各個尺寸的預測單元使用預定數(shù)目預測模式的示例，并且對于每個預測單元還可以使用沿其他方向(未示出)的預測模式。例如，可以使用先前編碼的左上塊中的像素值沿在整個360°內全方向上以相同預定角度(例如，22.5°或11.25°)形成的線執(zhí)行幀內預測。或者，可以由編碼器預先指定任何角度，使得沿根據該指定角度限定的線來執(zhí)行幀內預測。例如，為了指定角度，可以定義具有沿水平方向的dx和沿垂直方向的dy的斜率，可以將關于dx和dy的信息從編碼器傳輸?shù)浇獯a器。也可以將預定角度信息從編碼器傳輸?shù)浇獯a器。

圖10是圖示根據本發(fā)明的另一實施例的基于平面預測的幀內預測編碼方法的概念圖。

在尺寸為16×16或更大的擴展宏塊用于對具有hd或更高分辨率的高分辨率圖像進行編碼或者預測單元的尺寸增加到8×8或更大的情況下，如果現(xiàn)有幀內預測模式應用于預測單元的最右和最下像素值，則預測產生失真，因此使其難以將圖像平滑為平滑圖像。

在這樣的情況下，可以定義單獨的平面模式，并且當激活平面模式標記時，如圖10所示，為了獲得預測單元的最右且最下像素(1010)的預測像素值，可以使用像素(1001和1003)的值和/或預測塊的內像素的值來執(zhí)行線性插值。像素1001位于先前編碼的預測單元的上塊中，并且在垂直方向中與最右且最下像素(1010)相對應。像素1003位于先前編碼的預測單元的左塊中，并且在水平方向中與最右且最下像素(1010)相對應。內像素是位于預測塊內的像素，并且內像素在水平方向和垂直方向中與最右且最下像素(1010)相對應。

即，當激活平面模式標記時，如圖10所示，為了獲得預測單元的最右且最下像素(例如，像素1010)的預測像素值，可以使用像素(1001和1003)的值來執(zhí)行線性插值。像素1001位于先前編碼的預測單元的上塊中，并且在垂直方向中與最右且最下像素(1010)相對應。像素1003位于先前編碼的預測單元的左塊中，并且在水平方向中與最右且最下像素(1010)相對應。

替代地，當激活平面模式標記時，如圖10所示，為了獲得預測單元的最右且最下像素(例如像素1010)的預測像素值，可以使用像素(1001和1003)的值和/或內像素的值來執(zhí)行線性插值。像素1001位于先前編碼的預測單元的上塊中，并且在垂直方向中與最右且最下像素(1010)相對應，并且像素1003位于先前編碼的預測單元的左塊中，并且在水平方向中與最右且最下像素(1010)相對應。內像素位于預測塊內，并且內像素在水平方向和垂直方向中與最右且最下像素(1010)相對應。當激活平面模式標記時，可以將預測單元的最右且最下像素(1010)值從編碼器傳輸?shù)浇獯a器。在此，在如圖10所示的當前預測單元由8×8個預測塊組成的情況下，先前編碼的左側塊和上端塊中垂直和/或水平方向的對應像素值(1001,1003)指示與預測塊相鄰的已經編碼的塊之中左側塊和上端塊中像素的像素值，位于預測單元的最右且最下端的像素1010的水平方向的對應像素值指示像素1003的值，并且位于預測單元的最右且最下端的像素1010的垂直方向的對應像素值指示像素1001的值，并且預測塊中水平方向的內預測像素值指示沿像素1003與最右且最下像素1010之間的水平方向放置的至少一個像素的值，并且預測塊中垂直方向的對應內預測像素值指示沿像素1001與最右且最下像素1010之間的垂直方向布置的至少一個像素的值。

此外，在激活平面預測模式標記的情況下，可以通過使用先前編碼的左側塊和上端塊中的垂直和/或水平方向的對應像素的像素值和/或預測單元中垂直和/或水平方向的對應內邊界預測像素值(例如，垂直和/或水平方向的對應內邊界預測像素值指示沿像素1003與最右且最下像素1010之間的水平方向放置的至少一個像素的值或者沿像素1001與最右且最下像素1010之間的垂直方向布置的至少一個像素的值)執(zhí)行雙線性插值來獲得預測單元的內像素的預測像素值。在此，預測單元的內像素的預測像素值指示預測塊中沿水平方向布置的內像素的預測像素值(由于圖10中示出8×8塊，因此存在8個水平線，并且預測塊中沿水平方向布置的內像素的預測像素值指示沿8個水平線的各個的方向布置的8個內像素的預測像素值)或者預測塊中沿垂直方向布置的內像素的預測像素值(由于圖10中示出8×8塊，因此存在8個垂直線，并且預測塊中沿垂直方向布置的內像素的預測像素值指示沿8個垂直線的各個的垂直方向布置的8個內像素的預測像素值)。

在圖10中，在獲得預測單元的內像素的預測像素值的情況下，先前編碼的左側塊和上端塊中垂直和/或水平方向的對應像素值指示與預測塊相鄰的先前編碼塊的左側塊和上端塊中的像素的像素值。在如圖10所示的當前預測單元由8×8預測塊組成的情況下，預測單元的最右線的8個像素(即，從頂部到底部的8個像素)的水平方向的對應像素值指示沿水平方向與預測塊相鄰的先前編碼的左側塊之中的預測單元的最右線的對應像素相同位置處布置的像素的像素值，預測單元的最下端線的8個像素(即，從最左側到最右側的8個像素)的垂直方向的對應像素值指示沿垂直方向與預測單元的最下線的對應像素相同位置處布置的像素的像素值。

此外，在圖10中，在獲得預測單元的內像素的預測像素值的情況下，預測單元中垂直和/或水平方向的對應像素的內邊界預測像素值指示預測塊中最下線或最右線處放置的像素的像素值(預測像素值)。在如圖10所示的當前預測單元由8×8預測塊組成的情況下，例如，從預測單元頂部開始的第五個水平線上8個像素之中與右側第七個像素相對應的像素的內邊界預測像素值可以是從預測單元頂部開始的第五個水平線上8個像素之中的最右像素的像素值(或預測像素值)。在這樣的情況下，可以使用從預測單元頂部開始的第五個水平線上8個像素之中的最右像素的像素值(或預測像素值)，以及與預測塊相鄰的先前編碼的左側塊中的像素的像素值之中沿水平方向與從預測單元頂部開始的第五個水平線上8個像素之中右側第七個像素位置相同排列的先前編碼的像素的像素值，通過執(zhí)行雙向插值，來獲得從預測單元頂部開始的第五個水平線上8個像素之中右側第七個像素的預測像素值。

此外，在圖10中，在獲得預測單元的內像素的預測像素值的情況下，預測單元中垂直和/或水平方向對應像素的內邊界預測像素值，例如，在如圖10所示當前預測單元由8×8預測塊組成時，從預測單元的最左側開始右側第五個垂直線上的8個像素之中從頂部沿垂直方向第七個像素的相對應像素的內邊界預測像素值可以是位于從預測單元的最左側開始右側第五個垂直線上的8個像素的最下端的像素的像素值。

在這樣的情況下，可以使用從預測單元的最左側開始的右側第五個垂直線上8個像素之中位于最下端的像素的像素值(或預測像素值)以及與預測塊相鄰的先前編碼的上側塊中的像素的像素值之中沿垂直方向與從預測單元的最左側開始的右側第五個垂直線上8個像素之中從頂部開始沿垂直方向第七個像素相同位置處布置的先前編碼的像素的像素值(或預測像素值)，通過執(zhí)行雙向插值來獲得從預測單元的最左側開始的右側第五個垂直線上8個像素之中從頂部開始沿垂直方向第七個像素的預測像素值。

同時，在激活平面預測模式標記的情況下，可以將預測單元的最右且最下端像素的像素值從編碼器傳送到解碼器。此外，可以使用已經從編碼器傳送的最右且最上像素1001和最右且最下像素1010，通過執(zhí)行線性插值來獲得位于圖10的最右線上的像素的像素值?？梢允褂靡呀洀木幋a器傳送的最左且最下像素1003和最右且最下像素1010，通過執(zhí)行線性插值來獲得位于圖10的最下線上的像素的像素值。

圖11是圖示根據本發(fā)明的另一實施例的基于平面預測的幀內預測編碼方法的概念圖。

當激活平面預測模式標記時，如圖11所示，在時間上位于包括在作為要被編碼的當前圖片的第n圖片之前的第n-1圖片處確定第n圖片中的具有第一尺寸(例如，圖11中的8×8像素)的當前預測單元的參考預測單元。為了獲得當前預測單元中最右且最下像素的預測像素值，不僅與當前預測單元相鄰的先前編碼的左和上塊213中垂直和水平方向的對應像素值，而且與第n-1圖片的對應預測單元相鄰的先前編碼的左和上塊233中垂直和水平方向的對應像素值都被用于計算它們的平均值或者執(zhí)行線性插值。

或者，為了獲得當前預測單元中最右且最下像素的預測像素值，第n圖片的當前預測單元中垂直和水平方向的對應內像素值、與當前預測單元相鄰的先前編碼的左和上塊213中垂直和水平方向的對應像素值、以及與第n-1圖片的對應預測單元相鄰的先前編碼的左和上塊233中垂直和水平方向的對應像素值都被用于計算它們的平均值或者執(zhí)行線性插值。

此外，為了獲得當前預測單元中最右且最下像素的預測像素值，第n-1圖片的對應單元中垂直和水平方向對應最右且最下像素的內像素值、以及第n圖片的當前預測單元中垂直和水平方向的對應內像素值、與當前預測單元相鄰的先前編碼的左和上塊213中垂直和水平方向的對應像素值以及與第n-1圖片的對應預測單元相鄰的先前編碼的左和上塊233中垂直和水平方向的對應像素值被用于計算它們的平均值或者執(zhí)行線性插值。

而且，在激活平面預測模式標記的情況下，可以使用第n-1圖片的對應預測單元中垂直和水平方向的對應內邊界像素值、第n-1圖片的對應預測單元中先前編碼的左和上塊中垂直和水平方向的對應像素值、第n圖片的當前預測單元中垂直和水平方向對應的內邊界像素值和/或第n圖片的當前預測單元中先前編碼的左和上塊中垂直和水平方向的對應像素值，通過執(zhí)行雙向插值來獲得第n圖片的預測單元中內像素的預測像素值。

盡管圖11圖示了使用第n個圖片的當前預測單元和第n-1個圖片的對應預測單元進行幀內預測的示例，但是本發(fā)明不限與此。例如，還可以使用第n個圖片的當前預測單元和第n+1個圖片的對應預測單元，使用第n個圖片的當前預測單元和第n-1個圖片與第n+1個圖片的對應預測單元，或者使用第n個圖片的當前預測單元和第n-2個圖片、第n-1個圖片、第n+1個圖片與第n+2個圖片的對應預測單元，執(zhí)行幀內預測。

具有第二尺寸的當前預測單元可能是8×8、16×16或32×32像素的正方形，或者可以是圖2至圖5所示的非對稱形狀。在當前預測單元具有如圖2至圖6所示的非對稱形狀的情況下，可以應用結合圖10和圖11描述的實施例以執(zhí)行幀間預測。

也就是說，對于具有對稱形狀(諸如長方形或正方形)的預測單元以及具有非對稱形狀或任何幾何形狀的預測單元，基于如圖10和圖11所示的平面預測的幀內預測編碼方法可以應用于像素塊的幀內編碼/解碼。

圖12是圖示根據本發(fā)明的另一實施例的幾何分割的概念圖。

圖12圖示了預測單元pu經受幾何分割，使得劃分的部分具有除了正方形之外的其他形狀的示例。

參照圖12，對于預測單元，可以如下定義分區(qū)之間的幾何邊界線l?？梢酝ㄟ^穿過預測單元pu的中心o的x軸和y軸將預測單元pu劃分成四個象限。垂直線從中心o畫到邊界線l。然后，可以通過從中心o到邊界線l的距離ρ和逆時針方向從x軸到垂直線的角度θ來指定位于任何方向上的任何可能邊界線l。

對于幀間或幀內預測，預測單元pu相對于其中心被劃分為四個象限。預測單元pu的左上部分的第二象限被分為一個分區(qū)，并且剩余的l形狀被分為一個分區(qū)。如在此使用的，與分割分區(qū)或若干分割分區(qū)相對應的預測單元pu的“部分”也被稱為“塊”。或者，預測單元pu的左下部分的第三象限被分為一個分區(qū)，并且剩余象限被分為一個分區(qū)。替代地，預測單元pu的右上部分的第一象限被分為一個分區(qū)，并且剩余象限被分為一個分區(qū)。而且，與第四象限相對應的預測單元pu的右下部分被分為一個分區(qū)，其中剩余象限被分為一個分區(qū)。此外，第四象限，預測單元pu的右下部分被分為一個分區(qū)，其中剩余象限被分為一個分區(qū)。

如上所述，預測單元可以被分割，使得分割區(qū)具有l(wèi)形狀。因此，如果在分割時，在邊緣塊(例如，左上、右上、右下或左下塊)存在移動對象，那么與預測單元pu被分為四塊時相比，可以更加有效地進行編碼。根據運動對象所在的邊緣塊位于四個分區(qū)之中，可以選擇和使用對應分區(qū)。

用于運動估計的塊的大小可以變化。另外，根據一個示例性實施例，當非對稱分割或幾何分割應用時，塊的形狀不僅可以是現(xiàn)有正方形，也可以是其他幾何形狀，諸如長方形或其他非對稱形狀，“l(fā)”形，或三角形，如圖2至圖9所示。

另外，在上述包括結合圖10描述的塊分割的幾何塊分割的情況下，可以變換和利用圖6至圖9中應用的預測模式以對幾何塊執(zhí)行幀內預測。

圖13是圖示根據本發(fā)明的實施例的執(zhí)行幀內預測編碼的圖像編碼裝置的配置的框圖。

參照圖13，圖像編碼裝置包括編碼器630。編碼器630包括幀間預測單元632、幀內預測單元635、減法器637、變換單元639、量化單元641、熵編碼單元643、逆量化單元645、逆變換單元647、加法器649和幀緩沖器651。幀間預測單元632包括運動預測單元631和運動補償單元633。

編碼器630對輸入圖像執(zhí)行編碼。對于幀間預測單元632中的幀間預測或幀內預測單元635中的幀內預測，基于每個預測單元pu使用輸入圖像。

可以根據輸入圖像存儲在包括在編碼器中的緩沖區(qū)(未示出)之后該緩沖區(qū)中存儲的幀(或圖片)的時間頻率特性來確定應用于幀間預測或幀內預測的預測單元的尺寸。例如，預測單元確定單元610分析第n-1個幀(或圖片)和第n個幀(或圖片)的時間頻率特性，并且如果分析的時間頻率特性值小于預設的第一閾值，則確定預測單元的尺寸為64×64像素。如果分析的時間頻率特性值等于或大于預設的第一閾值且小于第二閾值，則確定預測單元的尺寸為32×32像素，并且如果分析的時間頻率特性值等于或大于預設的第二閾值，則確定預測單元的尺寸為16×16像素或更小。在此，第一閾值是指當幀(或圖片)之間的變化小于第二閾值時的時間頻率特性值。

可以根據輸入圖像存儲在包括在編碼器中的緩沖區(qū)(未示出)之后該緩沖區(qū)中存儲的幀(或圖片)的空間頻率特性來確定應用于幀間預測或幀內預測的預測單元的尺寸。例如，在輸入幀(或圖片)具有高均勻性或同質性的情況下，可以將預測單元的尺寸設置為大，例如，32×32像素或更大，在輸入幀(或圖片)具有低均勻性或同質性的情況下(也就是，當空間頻率高時)，可以將預測單元的尺寸設置為小，例如，16×16像素或更小。

雖然在圖13中沒有示出，但是可以通過接收輸入圖像的編碼控制器(未示出)或者通過接收輸入圖像的獨立的預測單元確定單元(未示出)來執(zhí)行確定預測單元的尺寸的操作。例如，預測單元的尺寸可以是16×16、32×32或64×64像素。

如上所述，包括為幀間或幀內預測確定的預測單元的尺寸的預測單元信息被提供給熵編碼單元643并且基于具有確定的尺寸的預測單元被提供給編碼器630。特別地，在使用擴展宏塊以及擴展宏塊的尺寸來執(zhí)行編碼和解碼的情況下，預測塊信息可以包括關于宏塊或擴展宏塊的尺寸的信息。在此，擴展宏塊的尺寸是指32×32像素或更大，例如，包括32×32、64×64或128×128像素。在上述遞歸編譯單元cu用于執(zhí)行編碼和解碼的情況下，預測單元信息可以包括，不是關于宏塊的尺寸的信息，而是關于幀間或幀內預測所使用的最大編譯單元lcu的尺寸的信息，也就是說，預測單元的尺寸，并且進一步，預測單元信息可以包括最大編譯單元lcu的尺寸、最小編譯單元scu的尺寸、最大允許等級或等級深度和標記信息。

編碼器630對具有確定尺寸的預測單元執(zhí)行編碼。

幀間預測單元632對當前通過上述非對稱分割或幾何分割編碼的預測單元進行劃分，并且基于每個劃分分區(qū)執(zhí)行運動估計以生成運動向量。

運動預測單元631通過各種分割方法對提供的當前預測單元進行劃分，并且對于每個分區(qū)塊，在位于當前編碼圖片之前和/或之后的至少一個參考圖片(被編碼并被存儲在幀緩沖器651中)中搜索與當前編碼的分區(qū)塊類似的區(qū)域，從而基于每個塊生成運動向量。用于運動估計的塊的尺寸可以變化，并且根據實施例，當應用非對稱分割或幾何分割時，塊的形狀不僅可以是現(xiàn)有正方形，也可以是其他幾何形狀，諸如長方形或其他非對稱形狀，“l(fā)”形，或三角形，如圖2至圖9所示。

運動補償單元633通過使用從運動預測單元631生成的運動向量和參考圖片執(zhí)行運動補償來生成預測塊(或預測的預測單元)。

幀間預測單元632對塊執(zhí)行塊合并，并且獲得每個合并塊的運動參數(shù)。將獲得的運動參數(shù)傳輸?shù)浇獯a器。

幀內預測單元635可以使用塊之間的像素相關性來執(zhí)行幀內預測編碼。根據結合圖22至圖27描述的各種實施例，幀內預測單元635執(zhí)行幀內預測，該幀內預測通過從當前幀(或圖片)的塊中的先前編碼像素值預測像素值來尋找當前預測單元的預測塊。

加法器637對從運動補償單元633提供的預測塊(或預測的預測單元)與當前塊(或當前預測單元)之間執(zhí)行減法操作以生成殘差，并且變換單元639和量化單元641分別執(zhí)行dct(離散余弦變換)和殘差的量化。在此，變換單元639可以基于從預測單元確定單元1810提供的預測單元尺寸信息來執(zhí)行變換。例如，變換單元639可以對32×32或64×64像素尺寸進行變換?；蛘撸儞Q單元639可以獨立于從預測單元確定單元610提供的預測單元尺寸信息基于單獨的變換單元tu來執(zhí)行變換。例如，變換單元tu尺寸最小可以是4×4像素，最大可以是64×64像素。或者，變換單元tu的最大尺寸可以大于64×64像素，例如，128×128像素。變換單元尺寸信息可以包括在變換單元信息中并且被傳輸?shù)浇獯a器。

熵編碼單元643對報頭信息執(zhí)行熵編碼，報頭信息包括量化的dct系數(shù)、運動向量、確定的預測單元信息、分割信息和變換單元信息，從而生成比特流。

逆量化單元645和逆變換單元647分別對由量化單元641量化的數(shù)據執(zhí)行逆量化和逆變換。加法器649將逆變換的數(shù)據與從運動補償單元633提供的預測的預測單元相加，以重構圖像，并且將重構的圖像提供給幀緩沖器651，使得幀緩沖器651存儲該存儲的圖像。

圖14是圖示根據本發(fā)明的實施例的應用幀內預測編碼的圖像編碼方法的流程圖。

參照圖14，當圖像輸入到編碼裝置時(步驟s1401)，對于輸入圖像，通過上述非對稱或幾何分割方法來劃分幀間或幀內預測的預測單元(步驟s1403)。

在激活幀內預測模式的情況下，對分割的非對稱塊或幾何塊應用結合圖6至圖11描述的幀內預測方法，從而執(zhí)行幀內預測(步驟s1405)。

或者，當激活幀內預測模式時，通過對于每個分區(qū)塊，在位于當前編碼圖片之前和/或之后的至少一個參考圖片(被編碼并被存儲在幀緩沖器651中)中搜索與當前編碼的分區(qū)塊類似的區(qū)域，生成預測塊(或預測的預測單元)，從而基于每個塊生成運動向量，隨后使用所生成的運動向量和圖片執(zhí)行運動補償。

接下來，編碼裝置獲得當前預測單元與預測的(幀內預測的或幀間預測的)預測單元之間的差以生成殘差，然后對所生成的殘差執(zhí)行變換和量化(步驟s1407)。其后，編碼裝置對包括量化的dct系數(shù)和運動參數(shù)的報頭信息進行熵編碼并且生成比特流(步驟s1409)。

圖15是圖示根據本發(fā)明的實施例的圖像解碼裝置的配置的框圖。

參照圖30，解碼設備包括熵解碼單元731、逆量化單元733、逆變換單元735、運動補償單元737、幀內預測單元739、幀緩沖器741和加法器743。

熵解碼單元731接收壓縮的比特流，并且對壓縮的比特流執(zhí)行熵解碼，從而生成量化系數(shù)。逆量化單元733和逆變換單元735分別對量化系數(shù)執(zhí)行逆量化和逆變換，以重構殘差。

由熵解碼單元731解碼的報頭信息可以包括預測單元尺寸信息，該信息可以包括例如擴展宏塊尺寸16×16、32×32、64×64或128×128像素。此外，解碼的報頭信息包括用于運動補償和預測的運動參數(shù)。運動參數(shù)可以包括為根據實施例的塊合并方法合并的每個塊傳送的運動參數(shù)。解碼器報頭信息還包括指示是否激活平面模式的標記以及具有上述非對稱形狀的每個單元預測模式信息。

運動補償單元737使用運動參數(shù)對與基于由熵解碼單元731從比特流解碼的報頭信息編碼的預測單元具有相同尺寸的預測單元執(zhí)行運動補償，從而生成預測的預測單元。運動補償單元737使用為根據實施例的塊合并方法合并的每個塊傳送的運動參數(shù)執(zhí)行運動補償，從而生成預測的預測單元。

幀內預測單元739使用塊之間的像素相關性來執(zhí)行幀內預測編碼。幀內預測單元739可以通過結合圖6至圖11描述的幀內預測編碼方法獲得當前預測單元的預測像素值。

加法器743將從逆變換單元735提供的殘差與從運動補償單元737或幀內預測單元739提供的預測的預測單元相加，以重構圖像，并且將殘差提供到幀緩沖器741，使得幀緩沖器741存儲重構的圖像。

圖16是圖示根據本發(fā)明的實施例的圖像解碼方法的流程圖。

參照圖16，解碼設備從編碼設備接收比特流(步驟s1601)。

其后，解碼設備對接收到的比特流執(zhí)行熵解碼(步驟s1603)。通過熵解碼所解碼的數(shù)據包括殘差，殘差是指當前預測單元與預測的預測單元之間的差。通過熵解碼所解碼的報頭信息可以包括預測單元信息、運動補償和預測的運動參數(shù)、指示是否激活平面預測模式的標記以及非對稱類型每個預測單元預測模式信息。預測單元信息可以包括預測單元尺寸信息。

在此，不是使用擴展宏塊和擴展宏塊的尺寸執(zhí)行編碼和解碼，在上述遞歸編譯單元cu用于編碼和解碼的情況下，預測單元pu信息可以包括最大編譯單元lcu和最小編譯單元scu的尺寸、最大允許等級或等級深度和標記信息。

解碼控制器(未示出)可以從編碼裝置接收編碼裝置中應用的預測單元pu尺寸，并且根據編碼裝置中應用的預測單元pu的大小，可以執(zhí)行將被描述的運動補償解碼、幀內預測編碼、逆變換或逆量化。

解碼裝置對熵編碼的殘差進行逆量化和逆變換(步驟s1605)。可以基于預測單元尺寸(例如，32×32或64×64像素)執(zhí)行逆變換。

解碼裝置可以將幀間預測或幀內預測方法應用于具有各種形狀的預測單元，諸如結合圖6至圖11描述的非對稱或幾何形狀，從而生成預測的預測單元(步驟s1607)。

解碼器將逆量化的逆變換的殘差與通過幀間或幀內預測來預測的預測單元相加，從而重構圖像(步驟s1609)。

盡管已經描述了本發(fā)明的實施例，但是本領域的普通技術人員將理解，在不脫離所附權利要求限定的本發(fā)明的范圍的情況下可以對本發(fā)明進行各種修改。