技術(shù)領(lǐng)域

與示例性實(shí)施例一致的設(shè)備和方法涉及對圖像進(jìn)行內(nèi)插，更具體地講，涉及在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插。

背景技術(shù)：

在現(xiàn)有技術(shù)的圖像編碼和解碼方法中，一幅畫面被劃分為多個宏塊以對圖像進(jìn)行編碼。然后，通過對宏塊執(zhí)行幀間預(yù)測或幀內(nèi)預(yù)測來對所述多個宏塊中的每個宏塊執(zhí)行預(yù)測編碼。

幀間預(yù)測是一種通過去除畫面之間的時間冗余性來壓縮圖像的方法。幀間預(yù)測的代表性示例是運(yùn)動估計(jì)編碼。在運(yùn)動估計(jì)編碼中，通過使用至少一個參考畫面來預(yù)測當(dāng)前畫面的每個塊。通過使用預(yù)定的估計(jì)函數(shù)來在預(yù)定的搜索范圍內(nèi)搜索與當(dāng)前塊最相似的參考塊。

基于參考塊預(yù)測當(dāng)前塊，并通過從當(dāng)前塊減去作為預(yù)測結(jié)果的預(yù)測的塊來獲得殘差塊，然后對所述殘差塊進(jìn)行編碼。在這種情況下，為了精確地預(yù)測當(dāng)前塊，通過在參考畫面的搜索范圍中執(zhí)行內(nèi)插來產(chǎn)生比整數(shù)像素單元更小的子像素，并基于子像素來執(zhí)行幀間預(yù)測。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)方案

一個或多個示例性實(shí)施例的多個方面提供了一種用于通過對整數(shù)像素單元的像素值進(jìn)行內(nèi)插來產(chǎn)生分?jǐn)?shù)像素單元的像素值的方法和設(shè)備。

一個或多個示例性實(shí)施例的多個方面還提供了一種其上記錄有用于執(zhí)行所述方法的計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)。

有益效果

根據(jù)本申請，可更準(zhǔn)確地產(chǎn)生分?jǐn)?shù)像素單元。

附圖說明

通過參照附圖詳細(xì)描述示例性實(shí)施例，上述和其他特征將變得更加清楚，其中：

圖1是根據(jù)示例性實(shí)施例的用于對圖像進(jìn)行編碼的設(shè)備的框圖；

圖2是根據(jù)示例性實(shí)施例的用于對圖像進(jìn)行解碼的設(shè)備的框圖；

圖3示出根據(jù)示例性實(shí)施例的分層編碼單元；

圖4是根據(jù)示例性實(shí)施例的基于編碼單元的圖像編碼器的框圖；

圖5是根據(jù)示例性實(shí)施例的基于編碼單元的圖像解碼器的框圖；

圖6示出根據(jù)示例性實(shí)施例的最大編碼單元、子編碼單元和預(yù)測單元；

圖7示出根據(jù)示例性實(shí)施例的編碼單元和變換單元；

圖8a至圖8d示出根據(jù)示例性實(shí)施例的編碼單元、預(yù)測單元和變換單元的劃分形狀；

圖9是根據(jù)示例性實(shí)施例的圖像內(nèi)插設(shè)備的框圖；

圖10是示出根據(jù)示例性實(shí)施例的由圖9的圖像內(nèi)插設(shè)備執(zhí)行的二維(2D)內(nèi)插方法的示圖；

圖11是示出根據(jù)示例性實(shí)施例的內(nèi)插區(qū)域的示圖；

圖12是示出根據(jù)示例性實(shí)施例的一維(1D)內(nèi)插方法的示圖；

圖13是專門示出根據(jù)示例性實(shí)施例的由圖9的圖像內(nèi)插設(shè)備執(zhí)行的1D內(nèi)插方法的示圖；

圖14是根據(jù)示例性實(shí)施例的圖像內(nèi)插設(shè)備的框圖；

圖15示出根據(jù)示例性實(shí)施例的2D內(nèi)插濾波器；

圖16a至圖16f示出根據(jù)示例性實(shí)施例的1D內(nèi)插濾波器；

圖17a至圖17y示出根據(jù)示例性實(shí)施例的優(yōu)化的1D內(nèi)插濾波器；

圖18a和圖18b示出根據(jù)示例性實(shí)施例的通過使用1D內(nèi)插濾波器沿各方向?qū)ο袼刂颠M(jìn)行內(nèi)插的方法；

圖19a示出根據(jù)示例性實(shí)施例的2D內(nèi)插方法；

圖19b示出根據(jù)另一示例性實(shí)施例的使用1D內(nèi)插濾波器的2D內(nèi)插方法；

圖19c示出根據(jù)另一示例性實(shí)施例的使用1D內(nèi)插濾波器的2D內(nèi)插方法；

圖20是示出根據(jù)示例性實(shí)施例的圖像內(nèi)插方法的流程圖；

圖21是示出根據(jù)另一示例性實(shí)施例的圖像內(nèi)插方法的流程圖；

圖22是示出根據(jù)另一示例性實(shí)施例的圖像內(nèi)插方法的流程圖；

圖23a至圖23e示出根據(jù)示例性實(shí)施例的執(zhí)行與1D內(nèi)插濾波器相關(guān)的縮放和四舍五入的方法。

最優(yōu)實(shí)施方式

根據(jù)示例性實(shí)施例的一方面，提供了一種對圖像進(jìn)行內(nèi)插的方法，所述方法包括：根據(jù)內(nèi)插位置從多個不同的濾波器中選擇用于在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插的第一濾波器；以及通過使用選擇的用于在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插的第一濾波器，在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插來產(chǎn)生至少一個分?jǐn)?shù)像素單元的至少一個像素值。

所述方法還可包括：根據(jù)內(nèi)插位置從多個不同的濾波器中選擇用于在產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值之間進(jìn)行內(nèi)插的第二濾波器；以及通過使用選擇的用于在產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值之間進(jìn)行內(nèi)插的第二濾波器，在產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值之間進(jìn)行內(nèi)插。

用于在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插的第一濾波器可以是下面的空間域?yàn)V波器，其中，所述空間域?yàn)V波器通過使用具有不同頻率的多個基函數(shù)來對整數(shù)像素單元的像素值進(jìn)行變換，并通過使用相位被移動的所述多個基函數(shù)，對通過對整數(shù)像素單元的像素值進(jìn)行變換而獲得的多個系數(shù)進(jìn)行反變換。

用于在產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值之間進(jìn)行內(nèi)插的第二濾波器可以是下面空間域?yàn)V波器，其中，所述空間域?yàn)V波器通過使用具有不同頻率的多個基函數(shù)來對產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值進(jìn)行變換，并通過使用相位被移動的所述多個基函數(shù)，對通過對產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值進(jìn)行變換而獲得的多個系數(shù)進(jìn)行反變換。

根據(jù)另一示例性實(shí)施例的一方面，提供了一種用于對圖像進(jìn)行內(nèi)插的設(shè)備，所述設(shè)備包括：濾波器選擇器，根據(jù)內(nèi)插位置從多個不同的濾波器中選擇用于在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插的第一濾波器；以及內(nèi)插器，通過使用選擇的用于在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插的第一濾波器，在整數(shù)像素單元的像素值之間進(jìn)行內(nèi)插來產(chǎn)生至少一個分?jǐn)?shù)像素單元的至少一個像素值。

所述濾波器選擇器可根據(jù)內(nèi)插位置從多個不同的濾波器中選擇用于在產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值之間進(jìn)行內(nèi)插的第二濾波器，所述內(nèi)插器可通過使用選擇的用于在產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值之間進(jìn)行內(nèi)插的第二濾波器，在產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的至少一個像素值之間進(jìn)行內(nèi)插。

根據(jù)另一示例性實(shí)施例的一方面，提供了一種其上包含有用于執(zhí)行上述方法的計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)。

根據(jù)另一示例性實(shí)施例的一方面，提供了一種用于對圖像進(jìn)行內(nèi)插的方法，所述方法包括：通過使用具有不同頻率的多個基函數(shù)，在空間域中對像素值進(jìn)行變換；移動所述多個基函數(shù)的相位；通過使用相位被移動的所述多個基函數(shù)，對通過對所述像素值進(jìn)行變換而獲得的多個系數(shù)進(jìn)行反變換。

具體實(shí)施方式

在下文中，將參照附圖更充分地描述一個或多個示例性實(shí)施例。當(dāng)諸如“…中的至少一個”的表述在一列元件之后時，所述表述修飾整列元件而不是修飾列表的各個元件。在本說明書中，“圖像”可表示視頻的靜止圖像或運(yùn)動圖像(即，視頻本身)。

圖1是根據(jù)示例性實(shí)施例的用于對圖像進(jìn)行編碼的設(shè)備100的框圖。參照圖1，用于對圖像進(jìn)行編碼的設(shè)備100包括最大編碼單元劃分器110、編碼深度確定器120、圖像數(shù)據(jù)編碼器130以及編碼信息編碼器140。

最大編碼單元劃分器110可基于作為最大尺寸的編碼單元的最大編碼單元對當(dāng)前幀或條帶進(jìn)行劃分。也就是說，最大編碼單元劃分器110可將當(dāng)前幀或條帶劃分為至少一個最大編碼單元。

根據(jù)示例性實(shí)施例，可使用最大編碼單元和深度來表示編碼單元。如上所述，最大編碼單元指示在當(dāng)前幀的編碼單元中具有最大尺寸的編碼單元，深度指示分層地減小編碼單元的程度。隨著深度增大，編碼單元可從最大編碼單元減小到最小編碼單元，其中，最大編碼單元的深度被定義為最小深度，最小編碼單元的深度被定義為最大深度。由于編碼單元的尺寸隨著深度增大而從最大編碼單元減小，因此第k深度的子編碼單元可包括多個第(k+n)深度的子編碼單元(其中，k和n是等于或大于1的整數(shù))。

根據(jù)將被編碼的幀的尺寸的增加，按照更大的編碼單元對圖像進(jìn)行編碼可造成更高的圖像壓縮率。然而，如果更大的編碼單元被固定，則可能不能通過反映連續(xù)改變的圖像特性來有效地對圖像進(jìn)行編碼。

例如，當(dāng)對諸如海洋或天空的平滑區(qū)域進(jìn)行編碼時，編碼單元越大，壓縮率會增加得越多。然而，當(dāng)對諸如人或建筑物的復(fù)雜區(qū)域進(jìn)行編碼時，編碼單元越小，壓縮率會增加得越多。

因此，根據(jù)示例性實(shí)施例，可針對每個幀或條帶設(shè)置不同的最大圖像編碼單元和不同的最大深度。由于最大深度表示編碼單元可減小的最大次數(shù)，因此包括在最大圖像編碼單元中的每個最小編碼單元的尺寸可根據(jù)最大深度而被可變地設(shè)置?？舍槍γ總€幀或條帶或者針對每個最大編碼單元來不同地確定最大深度。

編碼深度確定器120確定最大編碼單元的劃分形狀?？苫诼适д?RD)代價的計(jì)算來確定劃分形狀。確定的最大編碼單元的劃分形狀被提供給編碼信息編碼器140，根據(jù)最大編碼單元的圖像數(shù)據(jù)被提供給圖像數(shù)據(jù)編碼器130。

可根據(jù)不同的深度將最大編碼單元劃分為具有不同尺寸的子編碼單元，可基于具有不同尺寸的處理單元對包括在最大編碼單元中的具有不同尺寸的子編碼單元進(jìn)行預(yù)測或變換。換句話說，用于對圖像進(jìn)行編碼的設(shè)備100可基于具有多種尺寸和多種形狀的處理單元來執(zhí)行多個處理操作以進(jìn)行圖像編碼。為了對圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測、變換和熵編碼中的至少一種的處理操作，其中，具有相同尺寸或不同尺寸的處理單元可分別用于多個處理操作。

例如，用于對圖像進(jìn)行編碼的設(shè)備100可選擇與編碼單元不同的處理單元，以預(yù)測編碼單元。

當(dāng)編碼單元的尺寸是2N×2N(其中，N是正整數(shù))時，用于預(yù)測的處理單元可以是2N×2N、2N×N、N×2N和N×N。換句話說，可基于具有以下形狀的處理單元來執(zhí)行運(yùn)動預(yù)測：按照所述形狀，編碼單元的高度和寬度中的至少一個被二等分。在下文中，作為預(yù)測的基礎(chǔ)的處理單元被定義為“預(yù)測單元”。

預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一個，并且可僅對具有特定尺寸或形狀的預(yù)測單元執(zhí)行特定的預(yù)測模式。例如，可僅對尺寸為2N×2N和N×N的預(yù)測單元(其形狀為方形)執(zhí)行幀內(nèi)模式。此外，可僅對尺寸為2N×2N的預(yù)測單元執(zhí)行跳過模式。如果在編碼單元中存在多個預(yù)測單元，則在對每個預(yù)測單元執(zhí)行預(yù)測之后，可選擇具有最小編碼誤差的預(yù)測模式。

可選擇地，用于對圖像進(jìn)行編碼的設(shè)備100可基于具有與編碼單元不同尺寸的處理單元對圖像數(shù)據(jù)執(zhí)行變換。對于編碼單元中的變換，可基于尺寸等于或小于編碼單元的尺寸的處理單元來執(zhí)行變換。在下文中，作為變換的基礎(chǔ)的處理單元被定義為“變換單元”。所述變換可以是離散余弦變換(DCT)或Karhunen Loeve變換(KLT)，或者是任何其他定點(diǎn)空間變換。

編碼深度確定器120可通過使用基于拉格朗日乘子的RD最優(yōu)化來確定包括在最大編碼單元中的子編碼單元。換句話說，編碼深度確定器120可確定從最大編碼單元劃分的多個子編碼單元具有哪種形狀，其中，所述多個子編碼單元根據(jù)子編碼單元的深度而具有不同尺寸。圖像數(shù)據(jù)編碼器130通過基于由編碼深度確定器120確定的劃分形狀對最大編碼單元進(jìn)行編碼來輸出比特流。

編碼信息編碼器140對關(guān)于由編碼深度確定器120確定的最大編碼單元的編碼模式的信息進(jìn)行編碼。換句話說，編碼信息編碼器140通過對關(guān)于最大編碼單元的劃分形狀的信息、關(guān)于最大深度的信息以及關(guān)于每個深度的子編碼單元的編碼模式的信息進(jìn)行編碼來輸出比特流。關(guān)于子編碼單元的編碼模式的信息可包括關(guān)于子編碼單元的預(yù)測單元的信息、關(guān)于用于每個預(yù)測單元的預(yù)測模式的信息以及關(guān)于子編碼單元的變換單元的信息。

關(guān)于最大編碼單元的劃分形狀的信息可以是指示每個編碼單元是否被劃分的信息，例如，標(biāo)記信息。例如，當(dāng)最大編碼單元被劃分并被編碼時，指示最大編碼單元是否被劃分的信息被編碼。此外，當(dāng)從最大編碼單元劃分的子編碼單元被劃分并被編碼時，指示子編碼單元是否被劃分的信息被編碼。

由于對于每個最大編碼單元存在具有不同尺寸的子編碼單元，并且必須針對每個子編碼單元確定關(guān)于編碼模式的信息，所以可針對一個最大編碼單元確定關(guān)于至少一個編碼模式的信息。

用于對圖像進(jìn)行編碼的設(shè)備100可根據(jù)深度的增加，通過將最大編碼單元的高度和寬度兩者二等分來產(chǎn)生子編碼單元。也就是說，當(dāng)?shù)趉深度的編碼單元的尺寸是2N×2N時，第(k+1)深度的編碼單元的尺寸是N×N。

因此，用于對圖像進(jìn)行編碼的設(shè)備100可考慮圖像特性，基于最大編碼單元的尺寸和最大深度，確定每個最大編碼單元的最佳劃分形狀。通過考慮圖像特性來可變地調(diào)整最大編碼單元的尺寸，并通過將最大編碼單元劃分為不同深度的子編碼單元來對圖像進(jìn)行編碼，具有各種分辨率的圖像可以被更有效地編碼。

圖2是根據(jù)示例性實(shí)施例的用于對圖像進(jìn)行解碼的設(shè)備200的框圖。參照圖2，用于對圖像進(jìn)行解碼的設(shè)備200包括圖像數(shù)據(jù)獲取單元210、編碼信息提取器220和圖像數(shù)據(jù)解碼器230。

圖像數(shù)據(jù)獲取單元210通過解析由用于對圖像進(jìn)行解碼的設(shè)備200接收的比特流獲取根據(jù)最大編碼單元的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230。圖像數(shù)據(jù)獲取單元210可從當(dāng)前幀或條帶的頭提取關(guān)于當(dāng)前幀或條帶的最大編碼單元的信息。換句話說，圖像數(shù)據(jù)獲取單元210可根據(jù)最大編碼單元劃分比特流，從而圖像數(shù)據(jù)解碼器230可根據(jù)最大編碼單元來對圖像數(shù)據(jù)進(jìn)行解碼。

編碼信息提取器220通過解析由用于對圖像進(jìn)行解碼的設(shè)備200接收的比特流，從當(dāng)前幀的頭提取關(guān)于最大編碼單元、最大深度、最大編碼單元的劃分形狀和子編碼單元的編碼模式的信息。關(guān)于劃分形狀的信息和關(guān)于編碼模式的信息被提供給圖像數(shù)據(jù)解碼器230。

關(guān)于最大編碼單元的劃分形狀的信息可包括關(guān)于根據(jù)深度具有不同尺寸的且被包括在最大編碼單元中的子編碼單元的信息，并且可以是指示每個編碼單元是否被劃分的信息(例如，標(biāo)記信息)。關(guān)于編碼模式的信息可包括關(guān)于根據(jù)子編碼單元的預(yù)測單元的信息、關(guān)于預(yù)測模式的信息以及關(guān)于變換單元的信息。

圖像數(shù)據(jù)解碼器230通過基于由編碼信息提取器220提取的信息，對每個最大編碼單元的圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前幀。

圖像數(shù)據(jù)解碼器230可基于關(guān)于最大編碼單元的劃分形狀的信息對包括在最大編碼單元中的子編碼單元進(jìn)行解碼。解碼步驟可包括幀內(nèi)預(yù)測、幀間預(yù)測(包括運(yùn)動補(bǔ)償)以及反變換。

圖像數(shù)據(jù)解碼器230可基于關(guān)于預(yù)測單元的信息和關(guān)于預(yù)測模式的信息執(zhí)行幀內(nèi)預(yù)測或幀間預(yù)測，以便預(yù)測出預(yù)測單元。圖像數(shù)據(jù)解碼器230還可基于關(guān)于子編碼單元的變換單元的信息對每個子編碼單元執(zhí)行反變換。

圖3示出根據(jù)示例性實(shí)施例的分層編碼單元。參照圖3，分層編碼單元可包括寬度和高度為64×64、32×32、16×16、8×8和4×4的編碼單元。除了這些具有完美方形形狀的編碼單元以外，還可存在寬度和高度為64×32、32×64、32×16、16×32、16×8、8×16、8×4和4×8的編碼單元。

參照圖3，對于分辨率為1920×1080的圖像數(shù)據(jù)310，最大編碼單元的尺寸被設(shè)置為64×64，最大深度被設(shè)置為2。

對于分辨率為1920×1080的圖像數(shù)據(jù)320，最大編碼單元的尺寸被設(shè)置為64×64，最大深度被設(shè)置為3。對于分辨率為352×288的圖像數(shù)據(jù)330，最大編碼單元的尺寸被設(shè)置為16×16，最大深度被設(shè)置為1。

當(dāng)分辨率高或者數(shù)據(jù)量大時，編碼單元的最大尺寸可相對大，以增加壓縮率并準(zhǔn)確地反映圖像特性。因此，對于具有比圖像數(shù)據(jù)330更高分辨率的圖像數(shù)據(jù)310和320，64×64可被選為最大編碼單元的尺寸。

最大深度指示分層編碼單元中層的總數(shù)。由于圖像數(shù)據(jù)310的最大深度為2，因此圖像數(shù)據(jù)310的編碼單元315根據(jù)深度的增加可包括較長軸尺寸為64的最大編碼單元以及較長軸尺寸為32和16的子編碼單元。

另一方面，由于圖像數(shù)據(jù)330的最大深度為1，因此圖像數(shù)據(jù)330的編碼單元335根據(jù)深度的增加可包括較長軸尺寸為16的最大編碼單元以及較長軸尺寸為8和4的編碼單元。

然而，由于圖像數(shù)據(jù)320的最大深度為3，因此圖像數(shù)據(jù)320的編碼單元325根據(jù)深度的增加可包括較長軸尺寸為64的最大編碼單元以及較長軸尺寸為32、16、8和4的子編碼單元。由于隨著深度增加基于更小的子編碼單元來對圖像進(jìn)行編碼，因此當(dāng)前示例性實(shí)施例適合用于對包括更多小場景的圖像進(jìn)行編碼。

圖4是根據(jù)示例性實(shí)施例的基于編碼單元的圖像編碼器400的框圖。幀內(nèi)預(yù)測單元410對當(dāng)前幀405中的幀內(nèi)模式的預(yù)測單元執(zhí)行幀內(nèi)預(yù)測，運(yùn)動估計(jì)器420和運(yùn)動補(bǔ)償器425通過使用當(dāng)前幀405以及參考幀495對幀間模式的預(yù)測單元執(zhí)行幀間預(yù)測和運(yùn)動補(bǔ)償。

基于從幀內(nèi)預(yù)測單元410、運(yùn)動估計(jì)器420和運(yùn)動補(bǔ)償器425輸出的預(yù)測單元產(chǎn)生殘差值，隨后所述殘差值經(jīng)過變換器430和量化器440被輸出為量化的變換系數(shù)。

量化的變換系數(shù)經(jīng)過反量化器460和反變換器470被恢復(fù)為殘差值，經(jīng)過去塊單元480和環(huán)路濾波單元490被后處理并隨后作為參考幀495被輸出。量化的變換系數(shù)經(jīng)過熵編碼器450可被輸出為比特流455。

為了基于根據(jù)示例性實(shí)施例的編碼方法執(zhí)行編碼，圖像編碼器400的組件(即，幀內(nèi)預(yù)測單元410、運(yùn)動估計(jì)器420、運(yùn)動補(bǔ)償器425、變換器430、量化器440、熵編碼器450、反量化器460、反變換器470、去塊單元480和環(huán)路濾波單元490)可基于最大編碼單元、根據(jù)深度的子編碼單元、預(yù)測單元和變換單元執(zhí)行圖像編碼處理。

圖5是示出根據(jù)示例性實(shí)施例的基于編碼單元的圖像解碼器500的框圖。參照圖5，比特流505被解析器510解析，從而獲得將被解碼的編碼的圖像數(shù)據(jù)和解碼所必要的編碼信息。編碼的圖像數(shù)據(jù)經(jīng)過熵解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，并經(jīng)過反變換器540被恢復(fù)為殘差值。通過將殘差值與幀內(nèi)預(yù)測單元550的幀內(nèi)預(yù)測結(jié)果或運(yùn)動補(bǔ)償器560的運(yùn)動補(bǔ)償結(jié)果相加，根據(jù)編碼單元來恢復(fù)殘差值?；謴?fù)的編碼單元經(jīng)過去塊單元570和環(huán)路濾波單元580被用于預(yù)測下一編碼單元或下一幀。

為了基于根據(jù)示例性實(shí)施例的解碼方法執(zhí)行解碼，圖像解碼器500的組件(即，解析器510、熵解碼器520、反量化器530、反變換器540、幀內(nèi)預(yù)測單元550、運(yùn)動補(bǔ)償器560、去塊單元570和環(huán)路濾波單元580)可基于最大編碼單元、根據(jù)深度的子編碼單元、預(yù)測單元和變換單元執(zhí)行圖像解碼處理。

具體地講，幀內(nèi)預(yù)測單元550和運(yùn)動補(bǔ)償器560通過考慮最大編碼單元和深度來確定子編碼單元中的預(yù)測單元和預(yù)測模式，并且反變換器540通過考慮變換單元的尺寸來執(zhí)行反變換。

圖6示出根據(jù)示例性實(shí)施例的最大編碼單元、子編碼單元和預(yù)測單元。圖1中示出的的用于對圖像進(jìn)行編碼的編碼設(shè)備100和圖2中示出的用于對圖像進(jìn)行解碼的解碼設(shè)備200考慮到圖像特性，使用分層編碼單元來執(zhí)行編碼和解碼?？筛鶕?jù)圖像特性自適應(yīng)地設(shè)置最大編碼單元和最大深度，或者可根據(jù)用戶的需求不同地設(shè)置最大編碼單元和最大深度。

在圖6中，分層編碼單元結(jié)構(gòu)600具有最大編碼單元610，其中，最大編碼單元610的高度和寬度為64并且最大深度為4。深度沿著分層編碼單元結(jié)構(gòu)600的縱軸增加，并且隨著深度增加，子編碼單元620至650的高度和寬度減小。最大編碼單元610和子編碼單元620至650的預(yù)測單元沿著分層編碼單元結(jié)構(gòu)600的橫軸被示出。

最大編碼單元610深度為0且編碼單元的尺寸(即，高度和寬度)為64×64。深度沿著縱軸增加，并且存在尺寸為32×32且深度為1的子編碼單元620、尺寸為16×16且深度為2的子編碼單元630、尺寸為8×8且深度為3的子編碼單元640以及尺寸為4×4且深度為4的子編碼單元650。尺寸為4×4且深度為4的子編碼單元650是最小編碼單元，并且最小編碼單元可被劃分為預(yù)測單元，每個預(yù)測單元小于最小編碼單元。

參照圖6，根據(jù)每個深度沿著橫軸示出預(yù)測單元的示例。也就是說，深度為0的最大編碼單元610的預(yù)測單元可以是尺寸等于編碼單元610(即，64×64)的預(yù)測單元，或者可以是尺寸小于編碼單元610(其尺寸為64×64)的尺寸為64×32的預(yù)測單元612、尺寸為32×64的預(yù)測單元614或尺寸為32×32的預(yù)測單元616。

深度為1且尺寸為32×32的編碼單元620的預(yù)測單元可以是尺寸等于編碼單元620(即，32×32)的預(yù)測單元，或者可以是尺寸小于編碼單元620(其尺寸為32×32)的尺寸為32×16的預(yù)測單元622、尺寸為16×32的預(yù)測單元624或尺寸為16×16的預(yù)測單元626。

深度為2且尺寸為16×16的編碼單元630的預(yù)測單元可以是尺寸等于編碼單元630(即，16×16)的預(yù)測單元，或者可以是尺寸小于編碼單元630(其尺寸為16×16)的尺寸為16×8的預(yù)測單元632、尺寸為8×16的預(yù)測單元634或尺寸為8×8的預(yù)測單元636。

深度為3且尺寸為8×8的編碼單元640的預(yù)測單元可以是尺寸等于編碼單元640(即，8×8)的預(yù)測單元，或者可以是尺寸小于編碼單元640(其尺寸為8×8)的尺寸為8×4的預(yù)測單元642、尺寸為4×8的預(yù)測單元644或尺寸為4×4的預(yù)測單元646。

最后，深度為4且尺寸為4×4的編碼單元650是最小編碼單元和最大深度的編碼單元，編碼單元650的預(yù)測單元可以是尺寸為4×4的預(yù)測單元650、尺寸為4×2的預(yù)測單元652、尺寸為2×4的預(yù)測單元654或尺寸為2×2的預(yù)測單元656。

圖7示出根據(jù)示例性實(shí)施例的編碼單元和變換單元。圖1中示出的用于對圖像進(jìn)行編碼的設(shè)備100和圖2中示出的用于對圖像進(jìn)行解碼的設(shè)備200使用最大編碼單元自身來執(zhí)行編碼和解碼，或者使用從最大編碼單元劃分的等于或小于最大編碼單元的子編碼單元來執(zhí)行編碼和解碼。在編碼和解碼處理中，用于變換的變換單元的尺寸可被選擇為不大于相應(yīng)編碼單元的尺寸。例如，參照圖7，在當(dāng)前編碼單元710的尺寸為64×64時，可使用尺寸為32×32的變換單元720來執(zhí)行變換。

圖8a至圖8d示出根據(jù)示例性實(shí)施例的編碼單元、預(yù)測單元和變換單元的劃分形狀。具體地講，圖8a和圖8b示出根據(jù)示例性實(shí)施例的編碼單元和預(yù)測單元。

圖8a示出由圖1中示出的用于對圖像進(jìn)行編碼的設(shè)備100選擇的劃分形狀，以對最大編碼單元810進(jìn)行編碼。用于對圖像進(jìn)行編碼的設(shè)備100將最大編碼單元810劃分為各種形狀，對其執(zhí)行編碼，并通過基于R-D代價將各種劃分形狀的編碼結(jié)果彼此進(jìn)行比較來選擇最佳劃分形狀。當(dāng)最大編碼單元810被原樣編碼最優(yōu)時，可在沒有如圖8a至圖8d中所示劃分最大編碼單元810的情況下對最大編碼單元810進(jìn)行編碼。

參照圖8b，通過將深度為0的最大編碼單元810劃分為深度等于或大于1的子編碼單元來對最大編碼單元810進(jìn)行編碼。也就是說，最大編碼單元810被劃分為四個深度為1的子編碼單元，所有或部分深度為1的子編碼單元被劃分為深度為2的子編碼單元。

在深度為1的子編碼單元中位于右上方的子編碼單元和位于左下方的子編碼單元被劃分為深度等于或大于2的子編碼單元。一些深度等于或大于2的子編碼單元可被劃分為深度等于或大于3的子編碼單元。

圖8b示出用于最大編碼單元810的預(yù)測單元的劃分形狀。參照圖8b，用于最大編碼單元810的預(yù)測單元860可以與最大編碼單元810不同地被劃分。換句話說，每個子編碼單元的預(yù)測單元可小于相應(yīng)的子編碼單元。

例如，在深度為1的子編碼單元中位于右下方的子編碼單元854的預(yù)測單元可小于子編碼單元854。此外，深度為2的子編碼單元814、816、818、828、850和852中的一些子編碼單元814、816、850和852的預(yù)測單元可分別小于子編碼單元814、816、850和852。

此外，深度為3的子編碼單元822、832和848的預(yù)測單元可分別小于子編碼單元822、832和848。預(yù)測單元可具有以下形狀：按照所述形狀，各個子編碼單元沿著高度或?qū)挾鹊姆较虮欢确?；或者預(yù)測單元可具有以下形狀：按照所述形狀，各個子編碼單元沿著高度和寬度的方向被四等分。

圖8c和圖8d示出根據(jù)示例性實(shí)施例的預(yù)測單元和變換單元。

圖8c示出圖8b中示出的最大編碼單元810的預(yù)測單元的劃分形狀，圖8d示出最大編碼單元810的變換單元的劃分形狀。

參照圖8d，變換單元870的劃分形狀可與預(yù)測單元860不同地被設(shè)置。

例如，即使深度為1的編碼單元854的預(yù)測單元被選擇為具有以下形狀：按照所述形狀，編碼單元854的高度被二等分，變換單元也可被選擇為具有與編碼單元854相同的尺寸。同樣地，即使深度為2的編碼單元814和850的預(yù)測單元被選擇為具有以下形狀：按照所述形狀，編碼單元814和850中的每一個的高度被二等分，變換單元也可被選擇為具有與編碼單元814和850中的每一個的原始尺寸相同的尺寸。

變換單元可以被選擇為具有比預(yù)測單元更小的尺寸。例如，當(dāng)深度為2的編碼單元852的預(yù)測單元被選擇為具有以下形狀時：按照所述形狀，編碼單元852的寬度被二等分，變換單元可被選擇為具有比預(yù)測單元的形狀更小尺寸的以下形狀：按照所述形狀，編碼單元852沿著高度和寬度的方向被四等分。

圖9是根據(jù)示例性實(shí)施例的圖像內(nèi)插設(shè)備900的框圖。圖像內(nèi)插可被用于將具有低分辨率的圖像轉(zhuǎn)換為具有高分辨率的圖像。此外，圖像內(nèi)插可被用于將隔行掃描的圖像轉(zhuǎn)換為漸進(jìn)圖像，或者可被用于將具有低分辨率的圖像上采樣到更高的分辨率。當(dāng)圖4的圖像編碼器400對圖像進(jìn)行編碼時，運(yùn)動估計(jì)器420和運(yùn)動補(bǔ)償器425可通過使用經(jīng)過內(nèi)插的參考幀執(zhí)行幀間預(yù)測。也就是說，參照圖4，可通過對參考幀495進(jìn)行內(nèi)插來產(chǎn)生具有高分辨率的圖像，并可基于具有高分辨率的圖像執(zhí)行運(yùn)動估計(jì)和補(bǔ)償，從而增加幀間預(yù)測的精確度。同樣，當(dāng)圖5的圖像解碼器500對圖像進(jìn)行解碼時，運(yùn)動補(bǔ)償器550可通過使用經(jīng)過內(nèi)插的參考幀來執(zhí)行運(yùn)動補(bǔ)償，從而增加幀間預(yù)測的精確度。

參照圖9，圖像內(nèi)插設(shè)備900包括變換器910和反變換器920。

變換器910通過使用具有不同頻率的多個基函數(shù)來對像素值進(jìn)行變換。所述變換可以是將空間域中的像素值變換為頻域系數(shù)的各種處理之一，并且可以是例如如上所述的DCT。使用所述多個基函數(shù)來對整數(shù)像素單元的像素值進(jìn)行變換。所述像素值可以是亮度分量的像素值或色度分量的像素值。所述多個基函數(shù)的類型不受限制，并且可以是用于將空間域中的像素值變換為頻域值的各種類型的函數(shù)之一。例如，所述多個基函數(shù)可以是用于執(zhí)行DCT或反DCT的余弦函數(shù)。此外，可使用各種類型的基函數(shù)，諸如正弦基函數(shù)或多項(xiàng)式基函數(shù)。DCT的示例可包括改進(jìn)的DCT以及使用窗的改進(jìn)的DCT。

反變換器920對變換器910用于執(zhí)行變換的多個基函數(shù)的相位進(jìn)行移動，并通過使用相位被移動的所述多個基函數(shù)，對變換器910產(chǎn)生的多個系數(shù)(即，頻域值)進(jìn)行反變換。現(xiàn)在將通過使用二維(2D)DCT和一維(1D)DCT來描述變換器910執(zhí)行的變換以及反變換器920執(zhí)行的反變換。

<2D DCT和2D反DCT>

圖10是示出根據(jù)示例性實(shí)施例的由圖9的圖像內(nèi)插設(shè)備900執(zhí)行的2D內(nèi)插方法的示圖。參照圖10，圖像內(nèi)插設(shè)備900通過在空間域中的整數(shù)像素單元的像素值(例如，塊1000中的位置O上的像素值)之間進(jìn)行內(nèi)插來產(chǎn)生位置X(即，內(nèi)插位置)上的像素值。位置X上的像素值是分?jǐn)?shù)像素單元的像素值，其中，所述像素值的內(nèi)插位置由“α_x”和“α_y”來確定。盡管圖10示出塊1000具有4×4的尺寸的情況，但塊1000的尺寸不限于4×4，對于本領(lǐng)域普通技術(shù)人員而言顯而易見的是，可通過對比塊1000更小或更大的塊執(zhí)行2D DCT和2D反DCT來產(chǎn)生分?jǐn)?shù)像素單元的像素值。

首先，變換器910對整數(shù)像素單元的像素值執(zhí)行2D DCT?？筛鶕?jù)以下等式來執(zhí)行2D DCT：

C＝D(x)×REF×D(y)…(1)，

其中，“C”表示包括通過執(zhí)行2D DCT而獲得的頻域系數(shù)的塊，“REF”表示對其執(zhí)行了DCT的塊1000，“D(x)”是用于沿X軸的方向(即，水平方向)執(zhí)行DCT的矩陣，“D(y)”表示用于沿Y軸的方向(即，垂直方向)執(zhí)行DCT的矩陣。這里，“D(x)”和“D(y)”可由以下等式(2)來限定：

$D_{kl}\left(x\right)=\frac{2}{S_x}cos\left(\frac{(2l+1)k\mathrm{\&pi;}}{2S_x}\right)$

0≤k≤S_x-1

0≤l≤S_x-1…(2)，

其中，“k”和“l(fā)”表示均滿足等式(2)中表示的條件的整數(shù)，“D_kl(x)”表示方陣D(x)的第k行和第l列，S_x表示方陣D(x)的水平大小和垂直大小。

$D_{kl}\left(y\right)=\frac{2}{S_y}cos\left(\frac{(2l+1)k\mathrm{\&pi;}}{2S_y}\right)$

0≤k≤S_y-1

0≤l≤S_y-1…(3)，

其中，“k”和“l(fā)”表示均滿足等式(3)中表示的條件的整數(shù)，“D_kl(y)”表示方陣D(y)的第k行和第l列，S_y表示方陣D(y)的水平大小和垂直大小。

變換器910通過計(jì)算等式(1)來對塊1000執(zhí)行2D DCT，反變換器920通過計(jì)算以下等式來對由變換器910產(chǎn)生的頻域系數(shù)執(zhí)行2D反DCT：

P＝W(x)×D(x)×REF×D(y)×W(y)…(4)，

其中，“P”表示包括通過執(zhí)行反DCT而獲得的內(nèi)插位置(即，位置X)上的像素值的塊。與等式(1)相比，通過將塊C的兩邊分別乘以“W(x)”和“W(y)”來獲得等式(4)，從而對塊C執(zhí)行反DCT。這里，“W(x)”表示用于沿水平方向執(zhí)行反DCT的矩陣?！癢(y)”表示沿垂直方向執(zhí)行反DCT。

如上所述，反變換器920使用相位被移動的多個基函數(shù)以執(zhí)行2D反DCT?！癢(x)”和“W(y)”可由以下等式(5)和(6)來限定：

$W_{lo}\left(x\right)=\frac{1}{2},W_{lk}\left(x\right)=cos\left(\frac{(2l+1+2{\mathrm{\&alpha;}}_x)k\mathrm{\&pi;}}{2S_x}\right)$

0≤k≤S_x-1

0≤l≤S_x-1…(5)，

其中，“l(fā)”和“k”表示均滿足等式(5)中表示的條件的整數(shù)，“W_lk(x)”表示方陣W(x)的第l行和第k列，S_x表示方陣W(x)的水平大小和垂直大小。αx表示如圖10中示出的水平內(nèi)插位置，并且可以是分?jǐn)?shù)，例如，1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16、或…。然而，所述分?jǐn)?shù)不限于此，αx可以是實(shí)數(shù)。

$W_{lo}\left(y\right)=\frac{1}{2},W_{lk}\left(y\right)=cos\left(\frac{(2l+1+2{\mathrm{\&alpha;}}_y)k\mathrm{\&pi;}}{2S_y}\right)$

0≤k≤S_y-1

0≤l≤S_y-1…(6)，

其中，“l(fā)”和“k”表示均滿足等式(6)中表示的條件的整數(shù)，“W_lk(y)”表示方陣W(y)的第l行和第k列，S_y表示方陣W(y)的水平大小和垂直大小。αy表示如圖10中示出的垂直內(nèi)插位置，并且可以是分?jǐn)?shù)，例如，1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16、或…。然而，所述分?jǐn)?shù)不限于此，αy可以是實(shí)數(shù)。

與等式(2)和(3)相比，在等式(5)和(6)中，反變換器920使用的多個基函數(shù)(即，多個余弦函數(shù))的相位被分別移動了2α_x和2α_y，如果如等式(5)和(6)中所表示，反變換器920基于相位被移動的多個余弦函數(shù)執(zhí)行2D反DCT，則位置X的像素值被產(chǎn)生。

圖11是示出根據(jù)示例性實(shí)施例的內(nèi)插區(qū)域1110的示圖。當(dāng)圖9的變換器910和反變換器920通過分別執(zhí)行2D DCT和2D反DCT來產(chǎn)生內(nèi)插位置上的像素值時，比將被內(nèi)插的塊(即，內(nèi)插區(qū)域1110)更大的區(qū)域1120可被使用。一般而言，內(nèi)插的精確度可能在內(nèi)插區(qū)域1110的邊界降低，因此，與內(nèi)插位置鄰近的像素值之間的相關(guān)性可被考慮用于內(nèi)插。圖9的圖像內(nèi)插設(shè)備900對包括在內(nèi)插區(qū)域1110中的像素值執(zhí)行2D DCT，并隨后對執(zhí)行2D DCT的結(jié)果執(zhí)行2D反DCT，其中，包括在內(nèi)插區(qū)域1110中的像素值與內(nèi)插區(qū)域1110之外的像素值之間的相關(guān)性不被考慮。

因此，圖像內(nèi)插設(shè)備900對區(qū)域1120執(zhí)行內(nèi)插并使用內(nèi)插區(qū)域1110中的像素值進(jìn)行運(yùn)動補(bǔ)償，其中，所述區(qū)域1120比內(nèi)插區(qū)域1110更大并且包括內(nèi)插區(qū)域1110和與內(nèi)插區(qū)域1110鄰近的區(qū)域。

<1D DCT和1D反DCT>

圖12是示出根據(jù)示例性實(shí)施例的1D內(nèi)插方法的示圖。參照圖12，圖9的圖像內(nèi)插設(shè)備900通過在空間域中的整數(shù)像素單元的像素值1210和像素值1220之間進(jìn)行內(nèi)插來產(chǎn)生內(nèi)插位置上的像素值1200。像素值1200是分?jǐn)?shù)像素單元的像素值，所述像素值的內(nèi)插位置由“α”確定。以下將參照圖13詳細(xì)描述根據(jù)當(dāng)前示例性實(shí)施例的1D內(nèi)插方法。

圖13是專門示出根據(jù)示例性實(shí)施例的由圖9的圖像內(nèi)插設(shè)備900執(zhí)行的1D內(nèi)插方法的示圖。參照圖13，通過在兩個像素值1210和1220之間進(jìn)行內(nèi)插，包括整數(shù)像素單元的像素值1210和1220的多個鄰近像素值1310和1320被分別用于產(chǎn)生分?jǐn)?shù)像素單元的像素值1200。換句話說，對第-(M-1)至第M個像素值(即，2M個像素值)執(zhí)行1D DCT，基于相位被移動的多個基函數(shù)對執(zhí)行1D DCT的結(jié)果執(zhí)行1D反DCT，從而在第0個像素和第1個像素之間進(jìn)行內(nèi)插。圖13示出M＝6的情況，但“M”不限于6并且可以是任何大于0的正整數(shù)。

此外，圖12和圖13示出在沿水平方向鄰近的像素值之間執(zhí)行內(nèi)插的情況，但對本領(lǐng)域普通技術(shù)人員而言將顯而易見的是，圖12和圖13的1D內(nèi)插方法可被用于在沿垂直方向或?qū)蔷€方向鄰近的像素值之間進(jìn)行內(nèi)插(具體見圖18a和圖18b)。

變換器910對整數(shù)像素單元的像素值執(zhí)行1D DCT。可通過計(jì)算以下等式來執(zhí)行1D DCT：

$C_k=\frac{1}{M}\underset{l=-M+1}{\overset{M}{\&Sigma;}}p\left(l\right)cos\left(\frac{(2l-1+2M)k\mathrm{\&pi;}}{4M}\right)$

0≤k≤2M-1…(7)，

其中，“p(l)”表示第-(M-1)至第M個像素值，例如，圖13中示出的第-5像素值1310至第6像素值1320，“C_k”表示通過對像素值執(zhí)行1D DCT而獲得的多個系數(shù)。這里，“k”表示滿足等式(7)中表示的條件的正整數(shù)。

當(dāng)變換器910通過計(jì)算等式(7)對像素值1310和1320執(zhí)行1D DCT時，反變換器920通過計(jì)算以下的等式(8)來對變換器910產(chǎn)生的頻域系數(shù)執(zhí)行1D反DCT。

$P\left(\mathrm{\&alpha;}\right)=\frac{C_0}{2}+\underset{k=1}{\overset{2M-1}{\&Sigma;}}{C}_{k}cos\left(\frac{(2\mathrm{\&alpha;}-1+2M)k\mathrm{\&pi;}}{4M}\right)...\left(8\right),$

其中，“α”表示如上參照圖13描述的兩個像素值之間的內(nèi)插位置，并且可以是各種分?jǐn)?shù)之一，例如，1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16、…。所述分?jǐn)?shù)不限于此，“α”可以是實(shí)數(shù)。“P(α)”表示通過執(zhí)行1D反DCT產(chǎn)生的內(nèi)插位置上的像素值1200。與等式(7)相比，等式(8)中表示的作為用于執(zhí)行1D反DCT的基函數(shù)的余弦函數(shù)的相位由除整數(shù)“1”之外的分?jǐn)?shù)“α”確定，因此與用于執(zhí)行1D DCT的基函數(shù)的相位不同。

圖14是根據(jù)示例性實(shí)施例的圖像內(nèi)插設(shè)備1400的框圖。參照圖14，圖像內(nèi)插設(shè)備1400包括濾波器選擇器1410和內(nèi)插器1420。圖9的圖像內(nèi)插設(shè)備900對圖像進(jìn)行變換，并基于相位被移動的多個基函數(shù)對變換的結(jié)果進(jìn)行反變換。然而，如果每當(dāng)像素值被輸入到圖像內(nèi)插設(shè)備900時都執(zhí)行變換和反變換，那么所需的計(jì)算量很大，從而降低了圖像處理系統(tǒng)的運(yùn)行速度。

因此，通過計(jì)算用于執(zhí)行如上所述的變換和反變換的濾波器系數(shù)，并隨后通過使用計(jì)算的濾波器系數(shù)在空間域中對將被輸入到圖像內(nèi)插設(shè)備1400的像素值進(jìn)行濾波，可在不必將空間域變換到頻域的情況下在空間域快速執(zhí)行圖像內(nèi)插。

濾波器選擇器1410接收關(guān)于內(nèi)插位置的信息并選擇將用于內(nèi)插的濾波器。如上所述，濾波器被用于基于具有不同頻率的多個基函數(shù)來對像素值進(jìn)行變換，并基于相位被移動的所述多個基函數(shù)來對通過變換獲得的多個系數(shù)進(jìn)行反變換。濾波器系數(shù)可根據(jù)內(nèi)插位置而改變，并且根據(jù)內(nèi)插位置來選擇濾波器。

如以上參照圖9所述，使用具有不同頻率的多個基函數(shù)來對像素值進(jìn)行變換，并且所述具有不同頻率的多個基函數(shù)的相位根據(jù)內(nèi)插位置而被移動以執(zhí)行反變換。然后，可通過使用相位被移動的所述多個基函數(shù)對所述多個系數(shù)進(jìn)行反變換來對內(nèi)插位置上的像素值進(jìn)行內(nèi)插。換句話說，如果根據(jù)內(nèi)插位置，基于整數(shù)像素單元的像素值執(zhí)行變換，并且基于相位被移動的所述多個基函數(shù)來執(zhí)行反變換，則可針對各內(nèi)插位置產(chǎn)生至少一個分?jǐn)?shù)像素單元的像素值。因此，圖14的濾波器選擇器1410基于不同的基函數(shù)來預(yù)設(shè)用于執(zhí)行變換和執(zhí)行反變換的多個濾波器，并基于關(guān)于內(nèi)插位置的信息來選擇預(yù)設(shè)的濾波器之一。

內(nèi)插器1420通過使用濾波器選擇器1410選擇的濾波器來執(zhí)行內(nèi)插。具體地講，通過基于選擇的濾波器對整數(shù)像素單元的多個像素值進(jìn)行濾波來執(zhí)行內(nèi)插。作為內(nèi)插的結(jié)果，預(yù)定內(nèi)插位置上的像素值(即，分?jǐn)?shù)像素單元的像素值)被獲得。參照圖10，如果使用2D濾波器對包括整數(shù)像素單元的多個像素值的塊進(jìn)行濾波，則產(chǎn)生內(nèi)插位置上的多個像素值，其中，由“α_x”和“α_y”來確定每個內(nèi)插位置。參照圖13，如果使用1D濾波器對包括整數(shù)像素單元的多個像素值的行或列進(jìn)行濾波，則產(chǎn)生內(nèi)插位置α上的多個像素值。現(xiàn)在將在下面參照附圖描述分別使用2D濾波器和1D濾波器執(zhí)行的內(nèi)插方法。

<2D濾波器>

上述P＝W(x)×D(x)×REF×D(y)×W(y)與等式(4)相關(guān)。該等式還可被如下表示：

P＝F(x)×REF×F(y)…(9)，

其中，“F(x)”表示用于沿水平方向?qū)EF塊進(jìn)行變換并且用于通過使用相位被移動的多個基函數(shù)來對沿水平方向進(jìn)行變換的結(jié)果進(jìn)行反變換的濾波器。“F(y)”表示用于沿垂直方向?qū)EF塊進(jìn)行變換并且用于通過使用相位被移動的多個基函數(shù)來對沿垂直方向進(jìn)行變換的結(jié)果進(jìn)行反變換的濾波器。例如，“F(x)”可表示用于沿水平方向?qū)EF塊執(zhí)行DCT并通過使用相位被移動的多個余弦函數(shù)來對沿水平方向執(zhí)行的結(jié)果執(zhí)行反DCT的濾波器。“F(y)”可表示用于沿垂直方向?qū)EF塊執(zhí)行DCT并通過使用相位被移動的多個余弦函數(shù)來對沿垂直方向執(zhí)行的結(jié)果執(zhí)行反DCT的濾波器。

根據(jù)等式(2)、(3)、(5)和(6)，濾波器F(x)和F(y)可由以下等式(10)和(11)來限定：

$F_{kl}\left(x\right)=\underset{n=0}{\overset{S_x-1}{\&Sigma;}}{W}_{kn}\left(x\right)D_{nl}\left(x\right)$

0≤k≤S_x-1

0≤l≤S_x-1…(10)，

其中，“k”和“l(fā)”表示均滿足等式(10)中表示的條件的整數(shù)?！癋_kl(x)”表示矩陣F(x)的第k行和第l列，S_x表示方陣W(x)和D(x)的水平大小和垂直大小。由于方陣W(x)和D(x)具有相同的大小，因此方陣W(x)和D(x)的水平大小和垂直大小也相同?！癢_kn(x)”表示以上關(guān)于等式(5)描述的方陣W(x)的第k行和第n列。D_nl(x)表示以上關(guān)于等式(2)描述的方陣D(x)的第n行和第l列。

$F_{kl}\left(y\right)=\underset{n=0}{\overset{S_y-1}{\&Sigma;}}{D}_{kn}{\left(y\right)}_{nl}\left(y\right)$

0≤k≤S_y-1

0≤l≤S_y-1…(11)，

其中，“k”和“l(fā)”表示均滿足等式(11)中表示的條件的整數(shù)。“F_kl(y)”表示矩陣F(y)的第k行和第l列，S_y表示方陣W(y)和D(y)的水平大小和垂直大小。由于方陣W(y)和D(y)具有相同的大小，因此方陣W(y)和D(y)的水平大小和垂直大小也相同?！癢_nl(y)”表示以上關(guān)于等式(5)描述的方陣W(y)的第n行和第l列?！癉_kn(y)”表示以上關(guān)于等式(2)描述的方陣D(y)的第k行和第n列。

如果通過增加濾波器F(x)和F(y)的比特深度來執(zhí)行內(nèi)插，則濾波的精確度會提高。因此，根據(jù)示例性實(shí)施例，通過將濾波器F(x)和F(y)的系數(shù)與預(yù)定值相乘來增加濾波器F(x)和F(y)的系數(shù)，并且可使用這些包括增加的系數(shù)的濾波器來對圖像進(jìn)行內(nèi)插。在這種情況下，可如下改變等式(9)：

P＝(F’(x)×REF×F’(y))/S²…(12)，

其中，“F’(x)”表示通過將濾波器F(x)的系數(shù)乘以縮放因子“S”并將相乘的結(jié)果四舍五入為整數(shù)而縮放的濾波器，“F’(y)”表示通過將濾波器F(y)的系數(shù)乘以縮放因子“S”并將相乘的結(jié)果四舍五入為整數(shù)而獲得的濾波器。由于使用經(jīng)過縮放的濾波器執(zhí)行內(nèi)插，因此內(nèi)插位置上的像素值被計(jì)算并隨后除以“S²”以對縮放效果進(jìn)行補(bǔ)償。

圖15示出根據(jù)示例性實(shí)施例的2D內(nèi)插濾波器。具體地講，圖15示出根據(jù)等式(2)縮放的濾波器系數(shù)。也就是說，圖15示出當(dāng)“α_x”為1/4、1/2和3/4時的2D內(nèi)插濾波器F’(x)，其中，通過將2D內(nèi)插濾波器F(x)的系數(shù)乘以縮放因子2¹³來產(chǎn)生2D內(nèi)插濾波器F’(x)?？赏ㄟ^對濾波器F’(x)進(jìn)行轉(zhuǎn)置來使用當(dāng)α_y”為1/4、1/2和3/4時的2D內(nèi)插濾波器F’(y)。

參照圖14，如果濾波器選擇器1410基于內(nèi)插位置選擇圖15的2D內(nèi)插濾波器中的一個，則內(nèi)插器1420通過計(jì)算等式(9)或(12)來產(chǎn)生內(nèi)插位置上的像素值。

<1D濾波器>

根據(jù)等式(7)的1D DCT可被表示為如下的行列式：

C＝D×REF…(13)，

其中，“C”表示針對以上關(guān)于等式(7)描述的2M個系數(shù)的(2M×1)矩陣，“REF”表示針對以上關(guān)于等式(7)描述的整數(shù)像素單元的像素值(即，P_-(M-1)、…、至P_M)的(2M×1)矩陣。用于內(nèi)插的像素值的總數(shù)(即，2M)表示1D內(nèi)插濾波器的抽頭的總數(shù)?！癉”表示可被如下限定的用于1D DCT的方陣：

$D_{kl}=\frac{1}{M}cos\left(\frac{(2l-1+2M)k\mathrm{\&pi;}}{4M}\right)$

0≤k≤2M-1

-(M-1)≤l≤M…(14)，

其中，其中，“k”和“l(fā)”表示均滿足等式(14)中表示的條件的整數(shù)，“D_kl”表示用于等式(13)中表示的1D DCT的方陣D的第k行和第l列，以上已關(guān)于等式(13)描述了“M”。

根據(jù)等式(8)的使用相位被移動的多個基函數(shù)的1D DCT可被表示為如下行列式：

P(α)＝W(α)×C…(15)，

其中，“P(α)”與等式(8)中表示的“P(α)相同”，“W(α)”表示用于使用相位被移動的多個基函數(shù)的1D反DCT的(1×2M)矩陣?！癢(α)”可被如下限定：

$W_o\left(\mathrm{\&alpha;}\right)=\frac{1}{2},W_k\left(\mathrm{\&alpha;}\right)=cos\left(\frac{(2\mathrm{\&alpha;}-1+2M)k\mathrm{\&pi;}}{4M}\right)$

1＜k＜2M-1…(16)，

其中，“k”表示滿足等式(16)中表示的條件的整數(shù)，“W_k(α)”表示以上關(guān)于等式(15)描述的W(α)矩陣的第k列?；诘仁?13)和(15)的用于執(zhí)行1D DCT以及使用相位被移動的多個基函數(shù)的1D反DCT的1D內(nèi)插濾波器F(α)可被如下限定：

P(α)＝F(α)×REF

$F_l\left(\mathrm{\&alpha;}\right)=\underset{k=0}{\overset{2M-1}{\&Sigma;}}{W}_k\left(\mathrm{\&alpha;}\right)D_{kl}$

0≤k≤2M-1

-(M-1)≤l≤M…(17)，

其中，“k”和“l(fā)”表示均滿足等式(17)中表示的條件的整數(shù)，“F₁(α)”表示濾波器F(α)的第l列，“W(α)”和“D”與等式(13)中表示的“W(α)”和“D”相同。

可通過增加與2D內(nèi)插濾波器相似的1D內(nèi)插濾波器F(α)的比特深度來提高濾波精確度。可通過將1D內(nèi)插濾波器F(α)的系數(shù)與預(yù)定值相乘增加1D內(nèi)插濾波器F(α)的系數(shù)并使用包括增加的系數(shù)的1D內(nèi)插濾波器F(α)來對圖像進(jìn)行內(nèi)插。

例如，可通過將1D內(nèi)插濾波器F(α)乘以縮放因子“2^ScalingBits”來執(zhí)行內(nèi)插。在這種情況下，等式(7)中表示的P(α)＝F(α)×REF可被如下改變：

$P\left(\mathrm{\&alpha;}\right)=\left({\mathrm{\&Sigma;}}_{l=-M+1}^M{F^{\&prime;}}_l\right(\mathrm{\&alpha;})\&CenterDot;{\mathrm{REF}}_l+2^{ScalingBits-1})\&gt;\&gt;ScalingBits...\left(18\right),$

其中，F(xiàn)’_l(α)表示通過將1D內(nèi)插濾波器F(α)的系數(shù)乘以縮放因子“2^ScalingBits”并將相乘的結(jié)果四舍五入為整數(shù)而縮放的濾波器?！癛EF_l”表示等式(17)中表示的REF矩陣的第l列，“2^{ScalingBits-1}”表示被加上以對經(jīng)過濾波的像素值進(jìn)行四舍五入的值。通過將經(jīng)過縮放的濾波器F’_l(α)乘以針對像素值的矩陣來計(jì)算內(nèi)插位置α上的像素值，通過將值“2^{ScalingBits-1}”加到計(jì)算的結(jié)果來對計(jì)算的結(jié)果四舍五入，最終結(jié)果值被移動了“Scaling Bits”比特，從而對縮放效果進(jìn)行補(bǔ)償。

在上述等式中使用的四舍五入僅是量化濾波器系數(shù)的方法的示例。為了概括量化濾波器系數(shù)的方法以便于理解，可如以下等式(19)和(20)中所表示的來修改和優(yōu)化濾波器系數(shù)：

(F_l(α)-ε)≤f'_l(α)≤(F_l(α)+ε)…(19)，

其中，“F_l(α)”表示未被量化的濾波器的第l個系數(shù)，“f’_l(α)”表示被量化的濾波器的第l個系數(shù)，“ε”表示可根據(jù)量化的程度而被選擇的任意實(shí)數(shù)，并可以是例如0.2*F_l(α)。根據(jù)等式(19)，當(dāng)根據(jù)等式(13)至(17)計(jì)算作為實(shí)數(shù)的第l個系數(shù)F_l(α)時，第l個系數(shù)F_l(α)被改變?yōu)闈M足等式(19)的第l個系數(shù)f’_l(α)，從而對第l個系數(shù)F_l(α)進(jìn)行量化。

當(dāng)通過預(yù)定的縮放因子對濾波器系數(shù)進(jìn)行縮放時，根據(jù)等式(19)的量化可被如下改變：

(p*F_l(α)-p*ε)≤F'_l(α)≤(p*F_l(α)+p*ε)…(20)，

其中，“P”表示縮放因子(可以是“2^ScalingBits”)，p*F_l(α)表示經(jīng)過縮放的濾波器系數(shù)。根據(jù)等式(20)，“p*F_l(α)”被轉(zhuǎn)換為“F’_l(α)”。

圖16a至圖16f示出根據(jù)示例性實(shí)施例的1D內(nèi)插濾波器。在圖16a至圖16f中，根據(jù)抽頭的數(shù)量和內(nèi)插位置來示出以上關(guān)于等式(18)描述的經(jīng)過縮放的濾波器。具體地講，圖16a至圖16f分別示出4抽頭濾波器、6抽頭濾波器、8抽頭濾波器、10抽頭濾波器、12抽頭濾波器和14抽頭濾波器。在圖16a至圖16f中，用于濾波器系數(shù)的縮放因子被設(shè)置為“256”，即，ScalingBits被設(shè)置為“8”。

在圖16a至圖16f中，濾波器系數(shù)包括用于高頻分量的系數(shù)，由此內(nèi)插和預(yù)測的準(zhǔn)確度可被提高，但是圖像壓縮效率可能由于高頻分量而降低。然而，如以上參照圖9所描述的，執(zhí)行內(nèi)插以增加圖像壓縮效率。為了解決該問題，圖16a至圖16f中示出的濾波器系數(shù)可被調(diào)整以增加這種情況下的圖像壓縮效率。

例如，每個濾波器系數(shù)的絕對值可被降低，并且處于每個濾波器的中點(diǎn)的每個濾波器系數(shù)可被乘以比分配給其他濾波器系數(shù)的權(quán)重值更大的權(quán)重值。例如，參照圖16b，在用于產(chǎn)生1/2內(nèi)插位置上的像素值的6抽頭濾波器中，濾波器系數(shù){11，-43，160，160，-43，11}按照“11”、“-43”和“160”的絕對值可被降低并且僅有處于所述6抽頭濾波器的中點(diǎn)的“160”乘以權(quán)重值的方式而被調(diào)整。

圖17a至圖17y示出根據(jù)示例性實(shí)施例的優(yōu)化的1D內(nèi)插濾波器。圖16a至圖16f中示出的濾波器還可被調(diào)整以容易地以硬件來實(shí)現(xiàn)濾波器。當(dāng)使用計(jì)算機(jī)來計(jì)算等式(17)或(18)時，濾波器系數(shù)可被優(yōu)化為使算數(shù)運(yùn)算(例如，二進(jìn)制數(shù)的比特移位以及相加)最小化。

在圖17a和圖17b中，為每個濾波器的內(nèi)插而執(zhí)行濾波所需的計(jì)算量以“相加”和“移位”單位來指示。圖17a至圖17m的濾波器中的每一個包括被優(yōu)化用于使相應(yīng)內(nèi)插位置上的“相加”和“移位”單位最小化的系數(shù)。

圖17a和圖17b分別示出被優(yōu)化用于以縮放了8比特偏移的1/4像素的精確度對圖像進(jìn)行內(nèi)插的6抽頭濾波器和12抽頭濾波器。圖17c、17d和17e示出被優(yōu)化用于以縮放了8比特偏移的1/4像素的精確度對圖像進(jìn)行內(nèi)插的8抽頭濾波器。根據(jù)濾波器系數(shù)是否將被優(yōu)化以及優(yōu)化濾波器系數(shù)的方法中的至少一個來對圖17c至圖17e的8抽頭濾波器分類。圖17f和圖17g示出被優(yōu)化用于以縮放了6比特偏移的1/4像素的精確度對圖像進(jìn)行內(nèi)插的8抽頭濾波器。根據(jù)優(yōu)化濾波器系數(shù)的方法來對圖17f至圖17g的濾波器分類。

圖17h示出被優(yōu)化用于以縮放了6比特偏移的1/8像素的精確度對圖像進(jìn)行內(nèi)插的6抽頭濾波器。圖17i示出被優(yōu)化用于以縮放了8比特偏移的1/8像素的精確度對圖像進(jìn)行內(nèi)插的6抽頭濾波器。

圖17j和圖17k示出被優(yōu)化用于以縮放了5比特偏移的1/8像素的精確度對圖像進(jìn)行內(nèi)插的4抽頭濾波器。可根據(jù)優(yōu)化濾波器系數(shù)的方法來對圖17j和圖17k的濾波器分類。圖17l和圖17m示出被優(yōu)化用于以縮放了8比特偏移的1/8像素的精確度對圖像進(jìn)行內(nèi)插的4抽頭濾波器。也可根據(jù)優(yōu)化濾波器系數(shù)的方法來對圖17l和圖17m的濾波器分類。

圖17n至圖17y分別示出被優(yōu)化用于以縮放了8比特偏移的1/8像素的精確度對圖像進(jìn)行內(nèi)插的4抽頭濾波器、6抽頭濾波器、8抽頭濾波器、10抽頭濾波器和12抽頭濾波器。圖17n至圖17y的濾波器與圖17a至圖17m的濾波器不同在于一些濾波器系數(shù)不同，但與圖17a至圖17m的濾波器相同在于：用于對1/8內(nèi)插位置進(jìn)行內(nèi)插的濾波器系數(shù)與用于對7/8內(nèi)插位置進(jìn)行內(nèi)插的濾波器系數(shù)對稱、用于對2/8內(nèi)插位置進(jìn)行內(nèi)插的濾波器系數(shù)與用于對6/8內(nèi)插位置進(jìn)行內(nèi)插的濾波器系數(shù)對稱、用于對3/8內(nèi)插位置進(jìn)行內(nèi)插的濾波器系數(shù)與用于對5/8內(nèi)插位置進(jìn)行內(nèi)插的濾波器系數(shù)對稱。

圖23a至圖23e示出根據(jù)示例性實(shí)施例的執(zhí)行與1D內(nèi)插濾波器相關(guān)的縮放和四舍五入的方法。

如上所述，內(nèi)插濾波使用DCT和反DCT，因此1D內(nèi)插濾波器包括濾波器系數(shù)，所述濾波器系數(shù)的絕對值小于“1”。因此，如以上關(guān)于等式(12)所描述的，通過將濾波器系數(shù)乘以“2^ScalingBits”來對濾波器系數(shù)進(jìn)行縮放，分別將所述濾波器系數(shù)四舍五入為整數(shù)并隨后用于內(nèi)插。

圖23a示出當(dāng)1D內(nèi)插濾波器是12抽頭濾波器時被縮放“2^ScalingBits”的濾波器系數(shù)。參照圖23a，濾波器系數(shù)已被縮放，但沒有被四舍五入為整數(shù)。

圖23b示出通過將圖23a的經(jīng)過縮放的濾波器系數(shù)四舍五入至小數(shù)點(diǎn)之前來將圖23a的經(jīng)過縮放的濾波器系數(shù)四舍五入為整數(shù)的結(jié)果。參照圖23b，在1D內(nèi)插濾波器中，某些濾波器的四舍五入后的經(jīng)過縮放的濾波器系數(shù)之和小于“256”。具體地講，用于對1/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器、用于對3/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器、用于對5/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器、用于對7/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器中的每一個的所有濾波器系數(shù)之和小于“256”。也就是說，被縮放了8比特偏移的濾波器的濾波器系數(shù)之和應(yīng)該是“256”，但在對濾波器系數(shù)進(jìn)行四舍五入期間發(fā)生錯誤。

濾波器系數(shù)之和不相同意味著像素值可根據(jù)內(nèi)插位置而改變。為了解決該問題，可通過調(diào)整濾波器系數(shù)來產(chǎn)生歸一化的濾波器。圖23c示出由圖23b中示出的濾波器的濾波器系數(shù)產(chǎn)生的歸一化濾波器。

圖23b和23c的比較顯示出通過調(diào)整用于對1/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器、用于對3/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器、用于對5/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器、以及用于對7/8內(nèi)插位置上的像素值進(jìn)行內(nèi)插的濾波器的濾波器系數(shù)中的某些，所有濾波器系數(shù)之和被歸一化為“256”。

圖23d和23e分別示出被縮放的8抽頭濾波器以及對所述8抽頭濾波器進(jìn)行歸一化的結(jié)果。如果被縮放2^offset的8抽頭濾波器如圖23d中所示出，則將圖23d的8抽頭濾波器的濾波器系數(shù)四舍五入為整數(shù)值并按照濾波器系數(shù)之和為“256”的方式對四舍五入的結(jié)果歸一化的結(jié)果可如圖23e中示出。參照圖23e，一些濾波器系數(shù)與對圖23d中示出的8抽頭濾波器的濾波器系數(shù)四舍五入的結(jié)果不同。這意味著一些濾波器系數(shù)按照所有的濾波器系數(shù)之和為“256”的方式被調(diào)整。

如圖23b和23c中所示，通過對濾波器系數(shù)進(jìn)行縮放的步驟和對濾波器系數(shù)四舍五入的步驟中的至少一個而獲得的最終結(jié)果的濾波器系數(shù)中的至少一個可與對最終結(jié)果的濾波器系數(shù)進(jìn)行歸一化的結(jié)果不同。因此，對于本領(lǐng)域普通技術(shù)人員而言顯而易見的是，在圖16a至圖16f中示出的濾波器或圖17a至圖17m中示出的濾波器中，濾波器系數(shù)中的至少一個在預(yù)定的誤差范圍(例如，±1或±2)內(nèi)改變的1D內(nèi)插濾波器應(yīng)該被理解為落入示例性實(shí)施例的范圍內(nèi)。

如果濾波器選擇器1410基于內(nèi)插位置選擇圖16a至圖16f或圖17a至圖17y或圖23a至圖23e中示出的濾波器之一，則內(nèi)插器1420通過計(jì)算等式(17)或(18)來產(chǎn)生內(nèi)插位置上的像素值。其他各種因素(諸如幀間預(yù)測的方向、環(huán)路濾波器的類型、塊中的像素的位置)可被進(jìn)一步考慮用于濾波器選擇器1410選擇濾波器之一?？赏ㄟ^將被內(nèi)插的塊的尺寸或用于內(nèi)插的濾波的方向來確定將被選擇的濾波器的大小(即，抽頭大小)。例如，當(dāng)將被內(nèi)插的塊較大時，可選擇較大的濾波器，當(dāng)將沿垂直方向執(zhí)行內(nèi)插時，可選擇較小的濾波器來最小化存儲器存取。

根據(jù)示例性實(shí)施例，關(guān)于濾波器選擇的信息可被另外地編碼。例如，如果在對圖像編碼期間對圖像進(jìn)行內(nèi)插，則解碼側(cè)應(yīng)該知道用于對圖像進(jìn)行內(nèi)插的濾波器的類型，以通過使用在圖像編碼期間使用的相同濾波器來對圖像進(jìn)行解碼。為此，指定用于對圖像進(jìn)行內(nèi)插的濾波器的信息可與圖像一起被編碼。然而，當(dāng)基于對另一塊的先前編碼的結(jié)果(即，上下文)來執(zhí)行濾波器選擇時，關(guān)于濾波器選擇的信息不需要被另外地編碼。

如果通過執(zhí)行內(nèi)插而產(chǎn)生的像素值小于最小像素值或者大于最大像素值，則像素值被改變?yōu)樽钚∠袼刂祷蜃畲笙袼刂?。例如，如果產(chǎn)生的像素值小于最小像素值0，則產(chǎn)生的像素值被改變?yōu)椤?”，如果產(chǎn)生的像素值大于最大像素值255，則產(chǎn)生的像素值被改變?yōu)椤?55”。

當(dāng)執(zhí)行內(nèi)插以在圖像的編碼期間精確地執(zhí)行幀間預(yù)測時，指定內(nèi)插濾波器的信息可與圖像一起被編碼。換句話說，關(guān)于濾波器選擇器1410選擇的濾波器的類型的信息可與圖像一起被編碼為圖像參數(shù)。由于可按照編碼單元或按照條帶或畫面單元來選擇不同類型的內(nèi)插濾波器，因此關(guān)于濾波器選擇的信息也可按照編碼單元或條帶或畫面單元與圖像一起被編碼。然而，如果根據(jù)隱含規(guī)則執(zhí)行濾波器選擇，則關(guān)于濾波器選擇的信息可不與圖像一起被編碼。

現(xiàn)在將參照圖18a、圖18b和圖19詳細(xì)描述根據(jù)示例性實(shí)施例由內(nèi)插器1420執(zhí)行內(nèi)插的方法。

圖18a和圖18b示出根據(jù)示例性實(shí)施例的通過使用1D內(nèi)插濾波器沿各種方向?qū)ο袼刂颠M(jìn)行內(nèi)插的方法。參照圖18a和圖18b，可通過使用1D內(nèi)插濾波器來產(chǎn)生沿各種方向的內(nèi)插位置上的像素值，其中，所述1D內(nèi)插濾波器可對1D像素值執(zhí)行1D DCT并通過使用相位被移動的多個基函數(shù)來對執(zhí)行的結(jié)果執(zhí)行1D反DCT。

參照圖18a，可通過在像素值P₀ 1802和沿垂直方向相鄰的像素值P₁1804之間進(jìn)行內(nèi)插來產(chǎn)生沿垂直方向的內(nèi)插位置α上的像素值P(α)1800。與圖13的1D內(nèi)插方法相比較，使用沿垂直方向布置的像素值1810和1820而非沿水平方向布置的像素值1310和1320來執(zhí)行內(nèi)插，但以上關(guān)于等式(13)至(18)描述的內(nèi)插方法也可被應(yīng)用于圖18a的方法。

類似地，與圖13的1D內(nèi)插方法相比，在圖18b的方法中，使用沿對角線方向布置的像素值1840和1850而非沿水平方向布置的像素值1310和1320來執(zhí)行內(nèi)插，但可如以上關(guān)于等式(13)至(18)所描述的通過在兩個相鄰像素值1832和1834之間進(jìn)行內(nèi)插來產(chǎn)生內(nèi)插位置α上的像素值P(α)1830。

圖19a示出根據(jù)示例性實(shí)施例的2D內(nèi)插方法。參照圖19a，可基于整數(shù)像素單元的像素值1900至1906來產(chǎn)生分?jǐn)?shù)像素單元的像素值1910至1950。

具體地講，首先，圖14中示出的圖像內(nèi)插設(shè)備1400的濾波器選擇器1410選擇1D內(nèi)插濾波器來產(chǎn)生整數(shù)像素單元的像素值1900至1906之間存在的分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940。如以上參照圖14所描述的，可根據(jù)內(nèi)插位置選擇不同的濾波器。例如，可分別為分?jǐn)?shù)像素單元的像素值1912、1914和1916選擇不同的濾波器，從而在兩個上部的像素值1900和1902之間內(nèi)插像素值1910。例如，用于產(chǎn)生1/2像素單元的像素值1914的濾波器可與用于產(chǎn)生同一1/4像素單元的像素值1912和1916的濾波器不同。此外，可分別使用不同的濾波器來產(chǎn)生同一1/4像素單元的像素值1912和1916。如以上參照圖14所描述的，用于執(zhí)行反DCT的基函數(shù)的相位的移動程度根據(jù)內(nèi)插位置而改變，因此，根據(jù)內(nèi)插位置選擇用于執(zhí)行內(nèi)插的濾波器。

類似地，可基于根據(jù)內(nèi)插位置選擇的1D內(nèi)插濾波器來產(chǎn)生在整數(shù)像素單元的像素值1900至1906之間存在的不同分?jǐn)?shù)像素單元的像素值1920、1930和1940。

如果濾波器選擇器1410選擇用于產(chǎn)生在整數(shù)像素單元的像素值1900至1906之間存在的分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940的濾波器，則內(nèi)插器1420基于選擇的濾波器分別在內(nèi)插位置上產(chǎn)生分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940。根據(jù)示例性實(shí)施例，由于用于產(chǎn)生每個內(nèi)插位置上的像素值的濾波器先前已被計(jì)算，因此可基于整數(shù)像素單元的像素值來產(chǎn)生所有內(nèi)插位置上的像素值。

換句話說，由于可直接從整數(shù)像素單元的像素值1900和1902產(chǎn)生1/4像素單元的像素值1912和1916，因此不需要首先計(jì)算1/2像素單元的像素值1914并隨后基于整數(shù)像素單元的像素值1900和1902以及1/2像素單元的像素值1914來產(chǎn)生1/4像素單元的像素值1912和1916。由于不需要根據(jù)像素單元的大小來順序執(zhí)行圖像內(nèi)插，因此可高速執(zhí)行圖像內(nèi)插。

根據(jù)另一示例性實(shí)施例，根據(jù)示例性實(shí)施例的基于內(nèi)插位置的內(nèi)插方法可與現(xiàn)有的內(nèi)插方法相結(jié)合。例如，可通過使用根據(jù)示例性實(shí)施例的內(nèi)插濾波器直接從整數(shù)像素單元的像素值1900和1902產(chǎn)生1/2像素單元的像素值和1/4像素單元的像素值，可通過使用現(xiàn)有的線性內(nèi)插濾波器從1/4像素單元的像素值產(chǎn)生1/8像素單元的像素值。另外地，可通過使用根據(jù)示例性實(shí)施例的內(nèi)插濾波器直接從整數(shù)像素單元的像素值1900和1902產(chǎn)生1/2像素單元的像素值，可通過使用現(xiàn)有技術(shù)的線性內(nèi)插濾波器從1/2像素單元的像素值產(chǎn)生1/4像素單元的像素值，并可通過使用現(xiàn)有技術(shù)的線性內(nèi)插濾波器從1/4像素單元的像素值產(chǎn)生1/8像素單元的像素值。

如果通過執(zhí)行內(nèi)插來產(chǎn)生在整數(shù)像素單元的像素值1900至1906之間存在的分?jǐn)?shù)像素單元的所有像素值1910、1920、1930和1940，則濾波器選擇器1410再次選擇用于在分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940之間進(jìn)行內(nèi)插的1D內(nèi)插濾波器。在這種情況下，與以下方式類似的根據(jù)內(nèi)插位置來選擇不同的濾波器：在所述方式中，濾波器被選擇用于在整數(shù)像素單元的像素值1900至1906之間進(jìn)行內(nèi)插。

內(nèi)插器1420通過使用濾波器選擇器1410選擇的濾波器來產(chǎn)生與每個內(nèi)插位置相應(yīng)的分?jǐn)?shù)像素單元的像素值1950。也就是說，產(chǎn)生分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940之間的分?jǐn)?shù)像素單元的像素值1950。

圖19b示出根據(jù)另一示例性實(shí)施例的使用1D內(nèi)插濾波器的2D內(nèi)插方法。參照圖19b，可通過使用1D內(nèi)插濾波器沿垂直方向和水平方向重復(fù)執(zhí)行內(nèi)插來產(chǎn)生2D內(nèi)插位置上的像素值。

具體地講，通過沿水平方向在整數(shù)像素單元的像素值REF_(i，j)1960和像素值REF_(i+1，j)1964之間進(jìn)行內(nèi)插來產(chǎn)生像素值Temp_(i，j)。此外，通過沿水平方向在像素值REF_(i，j+1)1962和像素值REF_{(i+1，j+1)}1966之間進(jìn)行內(nèi)插來產(chǎn)生像素值Temp_(i，j+1)。然后，通過沿垂直方向在像素值Temp_(i，j)和像素值Temp_{(i，j+1)}之間進(jìn)行內(nèi)插來產(chǎn)生2D內(nèi)插位置上的像素值P_(i，j)。

1D內(nèi)插濾波器可以是用于執(zhí)行1D DCT和基于相位被移動的多個基函數(shù)來執(zhí)行1D反DCT的濾波器。此外，1D內(nèi)插濾波器可以是如以上關(guān)于等式(17)所描述的經(jīng)過縮放的濾波器。當(dāng)基于經(jīng)過縮放的濾波器沿水平方向和垂直方向執(zhí)行內(nèi)插時，可通過計(jì)算以下的等式(21)來執(zhí)行內(nèi)插：

${\mathrm{Temp}}_{(i,j)}=\left({\mathrm{\&Sigma;}}_{l=-M+1}^M{F^{\&prime;}}_l\right({\mathrm{\&alpha;}}_X)\&CenterDot;{\mathrm{REF}}_{(i+1,j)}+2^{StageBits1-1})\&gt;\&gt;StageBits1$

$P_{(i,j)}=\left({\mathrm{\&Sigma;}}_{l=-M+1}^M{F^{\&prime;}}_l\right({\mathrm{\&alpha;}}_y)\&CenterDot;{\mathrm{Temp}}_{(i,j+1)}+2^{StageBits2-1})\&gt;\&gt;StageBits2...\left(21\right),$

其中，F(xiàn)’_l(α_x)和F’_l(α_y)與等式(18)中表示的F’_l(α)對應(yīng)。然而，由于垂直內(nèi)插位置可與水平內(nèi)插位置不同，因此可根據(jù)內(nèi)插位置選擇不同的1D內(nèi)插濾波器。

當(dāng)執(zhí)行水平內(nèi)插和垂直內(nèi)插時，在水平內(nèi)插之后根據(jù)StageBits1執(zhí)行第一比特移位，并在垂直內(nèi)插之后根據(jù)StageBits2執(zhí)行第二比特移位。(TotalBits＝StageBits1+StageBits2)如果StageBits1被設(shè)置為0，則不執(zhí)行第一比特移位。

因此，如果在等式(21)中用于F’_l(α_y)的縮放因子為“2^bit1”且用于F’_l(α_x)的縮放因子為“2^bit2”，則“TotalBits＝bits1+bits2”。

圖19c示出根據(jù)另一示例性實(shí)施例的使用1D內(nèi)插濾波器的2D內(nèi)插方法。參照圖19c，可通過使用1D內(nèi)插濾波器沿垂直方向和水平方向重復(fù)執(zhí)行內(nèi)插來產(chǎn)生2D內(nèi)插位置上的像素值。

具體地講，通過沿垂直方向在整數(shù)像素單元的像素值REF_(i，j)1960和像素值REF_(i，j+1)1962之間進(jìn)行內(nèi)插來產(chǎn)生像素值Temp_(i，j)。接下來，通過沿垂直方向在像素值REF_(i，j+1)1964和像素值REF_(i+1，j+1)1966之間進(jìn)行內(nèi)插來產(chǎn)生像素值Temp_(i+1，j)。然后，通過在像素值Temp_(i，j)和像素值Temp_(i+1，j)之間進(jìn)行內(nèi)插來產(chǎn)生2D內(nèi)插位置上的像素值P_(i，j)。當(dāng)基于經(jīng)過縮放的濾波器沿水平方向和垂直方向執(zhí)行內(nèi)插時，可通過計(jì)算以下的等式(22)來執(zhí)行內(nèi)插：

${\mathrm{Temp}}_{(i,j)}=\left({\mathrm{\&Sigma;}}_{l=-M+1}^M{F^{\&prime;}}_l\right({\mathrm{\&alpha;}}_y)\&CenterDot;{\mathrm{REF}}_{(i,j+1)}+2^{StageBits1-1})\&gt;\&gt;StageBits1$

$P_{\left(i,j\right)}=\left({\mathrm{\&Sigma;}}_{l=-M+1}^M{F^{\&prime;}}_l\left({\mathrm{\&alpha;}}_x\right)\&CenterDot;{\mathrm{Temp}}_{\left(i+1,j\right)}+2^{StageBits2-1}\right)\&gt;\&gt;StageBits2...\left(22\right),$

圖20是示出根據(jù)示例性實(shí)施例的圖像內(nèi)插方法的流程圖。參照圖20，在操作2010，圖9的圖像內(nèi)插設(shè)備900通過使用具有不同頻率的多個基函數(shù)來在空間域?qū)ο袼刂颠M(jìn)行變換。所述像素值可以是包括在預(yù)定塊中的多個像素值，或者可以是沿水平方向或垂直方向布置的像素值的行或列。

這里，所述變換可以以上關(guān)于變換器910和等式(1)、(2)、(3)和(7)所描述的2D DCT或1D DCT。

在操作2020，圖像內(nèi)插設(shè)備900移動在操作2010中使用的多個基函數(shù)的相位?？筛鶕?jù)由“α_x”和“α_y”確定的2D內(nèi)插位置或根據(jù)由“α”確定的1D內(nèi)插位置來移動所述多個基函數(shù)的相位。

在操作2030，圖像內(nèi)插設(shè)備900通過使用相位在操作2020被移動的多個基函數(shù)來對在操作2010通過在空間域?qū)ο袼刂颠M(jìn)行變換而獲得的DCT系數(shù)進(jìn)行反變換。也就是說，通過對在操作2010獲得的DCT系數(shù)進(jìn)行反變換來產(chǎn)生內(nèi)插位置上的像素值。

如果在操作2010執(zhí)行的變換是2D DCT，則在操作2030，圖像內(nèi)插設(shè)備900通過使用相位被移動的多個余弦函數(shù)對DCT系數(shù)執(zhí)行2D反DCT，產(chǎn)生2D內(nèi)插位置上的像素值。

如果在操作2010執(zhí)行的變換是按照像素值的行或列執(zhí)行的1D DCT，則在操作2030，圖像內(nèi)插設(shè)備900通過使用相位被移動的多個余弦函數(shù)對DCT系數(shù)執(zhí)行1D反DCT，產(chǎn)生1D內(nèi)插位置上的像素值。

以上已關(guān)于反變換器920和等式(4)、(5)、(6)和(8)描述了相位被移動的多個基函數(shù)以及基于其的反變換。

圖21是示出根據(jù)另一示例性實(shí)施例的圖像內(nèi)插方法的流程圖。參照圖21，在操作2110，圖14的圖像內(nèi)插設(shè)備1400根據(jù)內(nèi)插位置選擇用于執(zhí)行變換和基于相位被移動的多個基函數(shù)來執(zhí)行反變換的濾波器。例如，根據(jù)內(nèi)插位置選擇用于執(zhí)行DCT和基于相位被移動的多個余弦函數(shù)執(zhí)行反DCT的濾波器。如果將被內(nèi)插的像素值包括在預(yù)定塊中，則基于“α_x”和“α_y”選擇用于執(zhí)行2D DCT和2D反DCT的濾波器。如果將被內(nèi)插的像素值是像素值的行或列，則基于“α”選擇用于執(zhí)行1D DCT和1D反DCT的濾波器。可根據(jù)內(nèi)插位置選擇以上參照圖15、圖16a至圖16f和圖17描述的濾波器之一。然而，可由除以上關(guān)于濾波器選擇器1410和參照圖17描述的內(nèi)插位置以外的各種其他因素來確定濾波器的大小。

在操作2120，圖像內(nèi)插設(shè)備1400基于在操作2110選擇的濾波器來執(zhí)行內(nèi)插。可通過使用在操作2110選擇的濾波器在空間域?qū)ο袼刂颠M(jìn)行濾波來產(chǎn)生2D內(nèi)插位置上的像素值或1D內(nèi)插位置上的像素值。以上已關(guān)于等值(9)至(19)描述了使用濾波執(zhí)行的內(nèi)插。

圖22是示出根據(jù)另一示例性實(shí)施例的圖像內(nèi)插方法的流程圖。參照圖22，在操作2210，圖14的圖像內(nèi)插設(shè)備1400根據(jù)內(nèi)插位置選擇用于在整數(shù)像素單元的像素值1900至1906之間進(jìn)行內(nèi)插的不同濾波器。在當(dāng)前的示例性實(shí)施例中，可直接從整數(shù)像素單元的像素值1900至1906產(chǎn)生至少一個分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940。因此，圖像內(nèi)插設(shè)備1400在操作2210選擇分別與內(nèi)插位置相應(yīng)的內(nèi)插濾波器。

在操作2220，圖像內(nèi)插設(shè)備1400基于在操作2210根據(jù)每個內(nèi)插位置選擇的不同濾波器，通過在整數(shù)像素單元的像素值1900至1906之間進(jìn)行內(nèi)插來產(chǎn)生所述至少一個分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940。

在操作2230，圖像內(nèi)插設(shè)備1400根據(jù)內(nèi)插位置選擇用于在操作2220產(chǎn)生的所述至少一個分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940之間進(jìn)行內(nèi)插的不同濾波器。根據(jù)內(nèi)插位置選擇用于產(chǎn)生圖19中示出的另一分?jǐn)?shù)像素單元的像素值1950的不同濾波器，其中，所述像素值1950存在于所述至少一個分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940之間。

在操作2240，圖像內(nèi)插設(shè)備1400基于在操作2230選擇的濾波器，通過對所述至少一個分?jǐn)?shù)像素單元的像素值1910、1920、1930和1940進(jìn)行內(nèi)插來產(chǎn)生另一分?jǐn)?shù)像素單元的像素值1950。

盡管以上已具體示出和描述了示例性實(shí)施例，但本領(lǐng)域普通技術(shù)人員將理解的是，在不脫離由權(quán)利要求及其等同物限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可對其進(jìn)行形式和細(xì)節(jié)上的各種改變。此外，根據(jù)示例性實(shí)施例的系統(tǒng)可被實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。

例如，如圖1、2、4、5、9、和14中示出的根據(jù)示例性實(shí)施例的用于對圖像進(jìn)行編碼的設(shè)備、用于對圖像進(jìn)行解碼的設(shè)備、圖像編碼器和圖像解碼器中的每一個可包括與它們的單元連接的總線、連接到總線的至少一個處理器以及連接到總線以存儲命令或存儲接收的或產(chǎn)生的消息并且連接到所述至少一個處理器以執(zhí)行所述命令的存儲器。

計(jì)算機(jī)可讀記錄介質(zhì)可以是可存儲將由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機(jī)存取存儲器(RAM)、緊密盤(CD)-ROM、磁帶、軟盤和光學(xué)數(shù)據(jù)存儲裝置。計(jì)算機(jī)可讀記錄介質(zhì)還可分布于聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)上，從而計(jì)算機(jī)可讀代碼可以以分布式方式被存儲和執(zhí)行。