0184] [數(shù)學U
[0185] f (x,y ,t) =F(2x+dx(t) ,2y+dy(t) ,t)
[0186] 在等式I中,dx(t)和dy(t)是用于改變包括在第t帖的像素組中的四個像素的位置 的值,dx(t)和dy(t)可W根據(jù)t的值(即帖)被可變地設(shè)置。如上所述,當像素組包括彼此相 鄰的四個像素時,dx(t)和dy(t)具有值0或1。從像素組選擇的像素的位置可根據(jù)dx(t)和dy (t)的值被改變。例如,當dx(t)=dy(t)=0時,從像素組選擇左上方第一像素。當dx(t) = l 且dy(t) = 0時,從像素組選擇右上方第二像素。當dx(t) = 0且dy(t) = l時,從像素組選擇左 下方第=像素。當dx(t)=dy(t) = l時,從像素組選擇右下方第四像素。如上所述,當像素組 包括四個像素時,下采樣的圖像帖具有(W/2) X化/2)的分辨率。然而,根據(jù)示例性實施例的 自適應(yīng)下采樣方法不限于像素組包括四個像素的情況,而當從m*n(其中,m和n是整數(shù))的可 選像素組中選擇單個像素時也可被應(yīng)用。
[0187] 運動預(yù)測執(zhí)行器1420通過使用下采樣的當前帖和下采樣的參考帖對包括在當前 帖中的下采樣的塊執(zhí)行運動預(yù)測,并產(chǎn)生下采樣的塊的運動矢量。更詳細地,假設(shè)W尺寸為 2NX2N(其中,N是整數(shù))的塊為單位對原始分辨率的圖像帖執(zhí)行運動預(yù)測,在上述示例中, 運動預(yù)測執(zhí)行器1420將下采樣的當前帖劃分為尺寸為NXN的塊,并獲得指示在下采樣的參 考帖中與當前塊最相似的相應(yīng)范圍的運動矢量。
[0188] 在下采樣的帖中產(chǎn)生的塊的運動矢量是與原始分辨率的輸入帖相比被縮小了下 采樣率的運動矢量。因而,運動預(yù)測執(zhí)行器1420可基于下采樣率將從下采樣的帖中獲得的 塊的運動矢量擴展至適應(yīng)于原始分辨率的帖。換句話說,當像素組在水平方向上包括m個像 素(其中,m是整數(shù))并在垂直方向上包括n個像素(其中,n是整數(shù))時,運動預(yù)測執(zhí)行器1420 可將獲得的運動矢量的水平軸分量擴展m倍,并將獲得的運動矢量的垂直軸分量擴展n倍, W產(chǎn)生適應(yīng)于原始分辨率的帖的運動矢量。如在上面的示例中所描述的,當像素組包括尺 寸為2X2的彼此相鄰的像素時,與原始分辨率的帖相比,下采樣的當前帖和參考帖具有在 水平軸和垂直軸上被縮小了 1/2的分辨率。在運種情況下,如果通過使用下采樣的當前帖和 參考帖而產(chǎn)生的運動矢量是(mv_x,mv_y),則原始圖像帖的運動矢量是通過將從下采樣的 帖獲得的運動矢量的大小加倍而獲得的(2*mv_x,2*mv_y)。
[0189] 現(xiàn)在將在下面詳細描述根據(jù)示例性實施例的輸入圖像帖的下采樣處理。
[0190] 圖15是用于解根據(jù)示例性實施例的輸入圖像帖的下采樣處理的參考示圖。圖15的 自適應(yīng)下采樣器1520對應(yīng)于圖14的自適應(yīng)下采樣器1410。
[0191] 參照圖15,自適應(yīng)下采樣器1520接收像素組的輸入,其中,所述像素組包括有在構(gòu) 成輸入圖像帖1510的像素中的預(yù)定數(shù)量的相鄰像素,并且自適應(yīng)下采樣器1520包括多個復(fù) 用器MUX,其中,復(fù)用器MUX從包括在輸入的像素組中的像素中選擇并輸出單個像素。自適應(yīng) 下采樣器1520接收輸入圖像帖1510中所包括的包括四個相鄰像素的像素組1511U512和 1513的輸入,選擇并輸出包括在每個像素組中的單個像素。更加詳細地,自適應(yīng)下采樣器 1520可從包括在像素組1511中的像素0a、0b、0c和Od中選擇并輸出在左上方的Oa像素1531, 可從包括在像素組1512中的像素1曰、化、Ic和Id中選擇并輸出在左上方的Ia像素1532,并且 可從包括在像素組1513中的像素2a、2b、2c和2d中選擇并輸出在左上方的2a像素1533。因 此,自適應(yīng)下采樣器1520通過針對包括在輸入圖像帖1510中的所有像素重復(fù)選擇和輸出單 個像素的處理來輸出下采樣的帖。
[0192] 自適應(yīng)下采樣器1520可針對每個圖像帖改變從每個像素組選擇的像素的位置。例 如,如果針對第t圖像帖(其中,t是整數(shù))從每個像素組選擇在左上方的像素,則自適應(yīng)下采 樣器1520可針對第(t+1)圖像帖選擇除左上位置之外的另一位置的像素并且執(zhí)行下采樣。 自適應(yīng)下采樣器1520可改變從每個圖像帖的像素組選擇的像素的位置,從而獲得反映圖像 帖之間的特定運動分量的下采樣帖。
[0193] 從像素組選擇的像素的位置可基于帖順序被預(yù)先確定。例如,可針對偶數(shù)圖像帖 從像素組的像素選擇第一位置的預(yù)定像素,并且可針對奇數(shù)圖像帖從像素組的像素選擇除 第一位置之外的第二位置的像素。
[0194] 可基于在每個圖像帖之前被編碼的先前帖的運動矢量來確定將從每個圖像帖的 像素組選擇的像素的位置。關(guān)于先前帖的運動矢量的信息可W是包括在先前帖中的塊的運 動矢量的平均值或先前帖的全局運動矢量。如果先前帖的運動矢量的信息未被使用,則如 上所述,可基于帖順序從像素組中選擇預(yù)先確定的位置的像素。
[01%]更加詳細地,對針對第(t-1)帖、第t帖和第(t+1)帖改變像素位置并執(zhí)行下采樣的 情況進行說明。自適應(yīng)下采樣器1520可通過使用包括在第(t-1)帖中的塊的運動矢量的平 均值或第(t-1)帖的全局運動矢量來確定將從包括在第t帖和第(t+1)帖中的每個像素組中 選擇用于進行下采樣的像素位置。
[0196] 假設(shè)包括在第(t-1)帖中的塊的運動矢量的平均值或第(t-1)帖的全局運動矢量 (下文中稱為"全局運動矢量")是(MVx_global_(t-l),MVy_global_(t-l)),當全局運動矢 量的水平軸方向分量MVx_global_(t-l)具有奇數(shù)值時,自適應(yīng)下采樣器1520^從第*帖的 像素組中選擇的像素的第一位置和從第(t+1)帖的像素組中選擇的像素的第二位置可在水 平方向上相差一個像素的方式來選擇第一位置W及第二位置。當全局運動矢量的垂直軸方 向分量MVy_global_(t-l)具有偶數(shù)值時,自適應(yīng)下采樣器1520W從第t帖的像素組中選擇 的像素的第一位置和從第(t+1)帖的像素組中選擇的像素的第二位置可在垂直方向上相差 一個像素的方式來選擇第一位置W及第二位置。
[0197] 作為例子,當?shù)?t-1)帖的全局運動矢量的水平軸方向分量MVx_global_(t-l)具 有奇數(shù)值時,自適應(yīng)下采樣器1520根據(jù)下面的等式2對第t帖執(zhí)行下采樣。
[019引數(shù)學等式2
[0199] [數(shù)學 2]
[0200] f(x,y,t)=F 他,2y,t)
[0201] 換句話說,自適應(yīng)下采樣器1520通過確定dx(t)=dy(t)=0并從第t帖的像素組選 擇左上方第一像素來執(zhí)行下采樣。
[0202] 自適應(yīng)下采樣器1520根據(jù)下面的等式3對第t帖之后的第(t+1)帖執(zhí)行下采樣。
[0203] 數(shù)學等式3
[0204] [數(shù)學引
[0205] f(x,y,t+l)=F 他+l,2y,t+l)
[0206] 換句話說,自適應(yīng)下采樣器1520通過確定dx(t+l) = l,dy(t+l) = 0并從第(t+1)帖 的像素組選擇右上方第二像素來執(zhí)行下采樣。
[0207] 類似地,當?shù)?t-1)帖的全局運動矢量的垂直軸方向分量MVy_global_(t-l)具有 奇數(shù)值時,自適應(yīng)下采樣器1520可根據(jù)上述等式2對第t帖執(zhí)行下采樣,并且根據(jù)下面的等 式4對第t帖之后的第(t+1)帖執(zhí)行下采樣。
[0208] 數(shù)學等式4
[0209] [數(shù)學 4]
[0210] f(x,y,t+l)=F(2x,2y+l,t+l)
[O^^l]換句話說,自適應(yīng)下采樣器1520通過確定扣(1+1) = 0曲(1+1) = 1并從第(1+1)帖 的像素組選擇左下方第=像素來執(zhí)行下采樣。
[0212] 因此,在連續(xù)的帖之間被采樣的像素的位置被改變一個像素,W便更準確地預(yù)測 存在于圖像帖之間的具有奇數(shù)值的運動矢量。
[0213] 當?shù)?t-1)帖的全局運動矢量的水平軸方向分量MVx_global_(t-l)和垂直軸方向 分量MVy_global_(t-l)具有奇數(shù)值時,自適應(yīng)下采樣器1520可根據(jù)上述等式2對第t帖執(zhí)行 下采樣,并且根據(jù)下面的等式5對第t帖之后的第(t+1)帖執(zhí)行下采樣。 腳4] 數(shù)學等式5
[0別引[數(shù)學5]
[0216] f(x,y,t+l)=F(2x+l,2y+l,t+l)
[0217] 當?shù)?t-1)帖的全局運動矢量的水平軸方向分量MVx_global_(t-l)和垂直軸方向 分量MVy_global_(t-l)具有偶數(shù)值時,自適應(yīng)下采樣器1520可通過選擇像素(2x,巧)來對 第t帖和第(t+1)帖執(zhí)行下采樣。
[0218] 圖16示出了根據(jù)本發(fā)明的實施例的通過使用自適應(yīng)下采樣方法進行下采樣的示 例性帖。
[0219] 參照圖16,如果包括在第(t-1)帖1610的預(yù)定像素組中的四個像素是。(2義,27,*-1)、F(2x+l,巧,t-1)、F(2x,2y+l,t-1)和F(2x+1,2y+l,t-1),則自適應(yīng)下采樣器1410從每個 像素組選擇和輸出第一位置的預(yù)定像素,例如,像素。(2義,27,*-1)。作為例子,在圖16中,從 包括在像素組1611中的位置(0,0)、(0,1)、(1,0)和(1,1)的像素中選擇位置(0,0)的像素 1612。針對第t帖1620選擇與針對第(t-1)帖1610選擇的位置不同的第二位置的像素。例如, 如果包括在第t帖1620的預(yù)定像素組中的四個像素是F(2x,2y,t)、F(2x+l,^,t)、F(2x,2y+ 1,*巧防(2針1,27+1,〇,則由于針對第(*-1)帖1610對與位置(2義,2)相應(yīng)的像素。(2義,27, t-1)進行采樣,因此自適應(yīng)下采樣器1410可從排除了像素 F(2x,2y,t)的像素中選擇將被采 樣的像素。作為例子,在圖16中,從包括在像素組1622中的位置(0,0)、(0,1)、(1,0)和(1,1) 的像素(排除位置(〇,〇)的像素)中選擇位置(1,〇)的像素。
[0220] 圖17A和圖17B示出了根據(jù)示例性實施例的示例性下采樣的帖和將被下采樣的帖。
[0221] 參照圖17A,假設(shè)被表示為陰影區(qū)域的對象存在于第(t-1)帖1710和第t帖1720中。 假設(shè)對象在連續(xù)帖之間具有在水平軸上移動一個像素的運動。如參照圖16所描述的,當像 素組的左上方像素針對第(t-1)帖被采樣并且像素組的右上方像素針對第t帖1720被采樣 時(如圖17A中所示),獲得如圖17B中所示的下采樣的第(t-1)帖1730和下采樣的第t帖 1740 O
[0222] 圖18A和圖18B示出了根據(jù)示例性實施例的通過使用相同的下采樣方法進行下采 樣的示例性帖。
[0223] 參照圖18A,假設(shè)被表示為陰影區(qū)域的對象存在于第(t-1)帖1810和第t帖1820中。 假設(shè)對象在連續(xù)帖之間具有在水平軸上移動一個像素的運動。如參照圖16所描述的,當像 素組的被表示為"0"的左上方像素針對第(t-1)帖1810和第t帖1820被采樣時,如圖18B中所 示,獲得下采樣的第(t-1)帖1830和下采樣的第t帖1840。在下采樣的第t帖1840中,存在在 第t帖1820中的對象數(shù)據(jù)在下采樣處理中被丟失。因此,即使通過使用下采樣的第t帖1840 執(zhí)行運動預(yù)測,由于原始對象的數(shù)據(jù)被丟失,因此難W預(yù)期有效的運動預(yù)測。
[0224] 另一方面,參照圖17A和圖17B,在下采樣的第t帖1740中,對象數(shù)據(jù)的損失相對較 小。因此,通過基于圖像帖之間的運動信息來改變針對每個帖被采樣的像素的位置來執(zhí)行 下采樣,從而使存在于原始圖像帖中的對象信息的損失最小化。
[0225] 圖19示出了根據(jù)另一示例性實施例的通過使用自適應(yīng)下采樣方法進行下采樣的 示例性帖。假設(shè)在帖之間存在具有在水平方向上移動奇數(shù)個像素的運動的對象。
[0226] 在運種情況下,自適應(yīng)下采樣1410可將從像素組中選擇的像素的位置確定為在水 平方向上具有一個像素的差。例如,參照圖19,自適應(yīng)下采樣器1410可從包括在第(t-2)帖 1910 的預(yù)定像素組中的像素 F(2x,2y,t-2)、F(2x+l,^,t-2)、F(2x,2y+l,t-2WPF(2x+l,2y + 1,*-2)中選擇左上方像素。(2^,27,*-2),并產(chǎn)生下采樣的第(*-2)帖。自適應(yīng)下采樣器 1410可從包括在第(t-1)帖1920的預(yù)定像素組中的像素 F(2x,2y,t-l)、F(2x+l,^,t-l)、F (2x,2y+l,t-l)和F(2x+1,2y+l,t-l)中選擇右上方像素 F(2x+1,2y,t-l),并產(chǎn)生下采樣的 第(t-1)帖。自適應(yīng)下采樣器1410可從包括在第t帖1930的預(yù)定像素組中的像素 F(2x,2y, t)、F(2x+l,2y,t)、F(2x,巧