使用非對(duì)稱插值濾波器的圖像插值的方法及其設(shè)備本申請是申請日為2012年6月28日，申請?zhí)枮椤?01280042479.4”，標(biāo)題為“使用非對(duì)稱插值濾波器的圖像插值的方法及其設(shè)備”的發(fā)明專利申請的分案申請。技術(shù)領(lǐng)域本發(fā)明涉及使用運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測編碼。

背景技術(shù)：
在典型的圖像編碼和解碼方法中，為了對(duì)圖像編碼，一個(gè)畫面被劃分為宏塊。之后，通過使用幀間預(yù)測或幀內(nèi)預(yù)測對(duì)每個(gè)宏塊執(zhí)行預(yù)測編碼。幀間預(yù)測表示通過去除畫面之間的時(shí)間冗余來壓縮圖像的方法，其代表性示例是運(yùn)動(dòng)估計(jì)編碼。在運(yùn)動(dòng)估計(jì)編碼中，通過使用至少一個(gè)參考畫面來預(yù)測當(dāng)前畫面的每個(gè)塊。通過使用預(yù)定的評(píng)價(jià)函數(shù)在預(yù)定的搜索范圍內(nèi)找到與當(dāng)前塊最相似的參考?jí)K?；趨⒖?jí)K預(yù)測當(dāng)前塊，并且通過從當(dāng)前塊減去作為預(yù)測結(jié)果產(chǎn)生的預(yù)測塊所獲得的殘差塊被編碼。在此情況下，為了更加精確地執(zhí)行預(yù)測，對(duì)搜索參考畫面的范圍執(zhí)行插值，產(chǎn)生小于整像素單元(integer-pel-unit)像素的子像素單元(sub-pel-unit)像素，并且對(duì)產(chǎn)生的子像素單元像素執(zhí)行幀間預(yù)測。

技術(shù)實(shí)現(xiàn)要素：
技術(shù)問題本發(fā)明提供一種用于確定對(duì)稱或非對(duì)稱插值濾波器的濾波器系數(shù)以便通過對(duì)整像素單元像素進(jìn)行插值來產(chǎn)生子像素單元像素的方法和設(shè)備。技術(shù)方案根據(jù)本發(fā)明的一方面，提供一種使用基于變換的插值濾波器的圖像插值方法，所述方法包括：根據(jù)在由用于產(chǎn)生位于整像素單元像素之間的至少一個(gè)子像素單元像素值的插值濾波器支持的區(qū)域中的子像素單元插值位置，從插值濾波器中分別選擇相對(duì)于插值位置的對(duì)稱或非對(duì)稱插值濾波器；以及通過使用所選擇的插值濾波器對(duì)整像素單元像素進(jìn)行插值來產(chǎn)生至少一個(gè)子像素單元像素值。有益效果為了有效地執(zhí)行圖像插值，從用于產(chǎn)生子像素單元像素值的插值濾波器中，基于子像素單元插值位置不同地選擇插值濾波器。插值濾波器可以是奇數(shù)或偶數(shù)抽頭(tap)插值濾波器以進(jìn)行子像素單元插值。插值濾波器可以根據(jù)插值位置被選擇為對(duì)稱或非對(duì)稱插值濾波器。附圖說明圖1是根據(jù)本發(fā)明的實(shí)施例的圖像插值設(shè)備的框圖；圖2是用于描述整像素單元和子像素單元之間的關(guān)系的示圖；圖3是示出根據(jù)本發(fā)明的實(shí)施例的將被參考的以確定子像素單元像素值的鄰近整像素單元像素的示圖；圖4A至圖4C是示出根據(jù)本發(fā)明的實(shí)施例的將被參考的以確定子像素單元像素值的整像素單元像素的示例的示圖；圖5A是用于描述根據(jù)本發(fā)明的實(shí)施例的使用相對(duì)于插值位置不對(duì)稱設(shè)置的參考像素以確定子像素單元像素值的插值濾波方法的示圖；圖5B是用于描述根據(jù)本發(fā)明的實(shí)施例的使用包括奇數(shù)個(gè)濾波器系數(shù)的插值濾波器以確定子像素單元像素值的插值方法的示圖；圖6是根據(jù)本發(fā)明的實(shí)施例的基于平滑插值濾波器的平滑參數(shù)的平滑因子的曲線圖；圖7是根據(jù)本發(fā)明的實(shí)施例的插值濾波器的幅頻響應(yīng)曲線圖；圖8是根據(jù)本發(fā)明的實(shí)施例的圖像插值方法的流程圖；圖9A至圖9D分別示出根據(jù)本發(fā)明的實(shí)施例的基于插值位置和窗口濾波器尺寸確定的3抽頭至6抽頭插值濾波器的濾波器系數(shù)；圖10A至圖10C分別示出根據(jù)本發(fā)明的實(shí)施例的基于插值位置和窗口濾波器尺寸確定的7抽頭插值濾波器的濾波器系數(shù)；圖11A至圖11C分別示出根據(jù)本發(fā)明的實(shí)施例的基于插值位置和窗口濾波器尺寸確定的8抽頭插值濾波器的濾波器系數(shù)；圖12A和圖12B分別示出根據(jù)本發(fā)明的實(shí)施例的正則化的亮度插值濾波器和正則化的色度插值濾波器的濾波器系數(shù)；圖13A是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的視頻編碼設(shè)備的框圖；圖13B是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的視頻解碼設(shè)備的框圖；圖14A是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的圖像編碼方法的流程圖；圖14B是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的圖像解碼方法的流程圖；圖15是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元的構(gòu)思的示圖；圖16是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像編碼器的框圖；圖17是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像解碼器的框圖；圖18是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的更深的編碼單元和分區(qū)的示圖；圖19是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元和變換單元之間的關(guān)系的示圖；圖20是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息的示圖；圖21是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的更深的編碼單元的示圖；圖22至圖24是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元、預(yù)測單元和變換單元之間的關(guān)系的示圖；圖25是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元或分區(qū)和變換單元之間的關(guān)系的示圖；圖26是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的使用插值濾波器的視頻編碼方法的流程圖；圖27是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的使用插值濾波器的視頻解碼方法的流程圖。最佳實(shí)施方式根據(jù)本發(fā)明的一方面，提供一種使用基于變換的插值濾波器的圖像插值方法，所述方法包括：根據(jù)在由用于產(chǎn)生位于整像素單元像素之間的至少一個(gè)子像素單元像素值的插值濾波器支持的區(qū)域中的子像素單元插值位置，從插值濾波器中分別選擇相對(duì)于插值位置的對(duì)稱插值濾波器或非對(duì)稱插值濾波器；以及通過使用所選擇的插值濾波器對(duì)整像素單元像素進(jìn)行插值來產(chǎn)生至少一個(gè)子像素單元像素值。對(duì)稱插值濾波器可在由對(duì)稱插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括相同數(shù)量的濾波器系數(shù)，非對(duì)稱插值濾波器可在由非對(duì)稱插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括不同數(shù)量的濾波器系數(shù)。產(chǎn)生至少一個(gè)子像素單元像素值的操作可包括：如果非對(duì)稱插值濾波器被選擇，則通過使用非對(duì)稱插值濾波器的濾波器系數(shù)執(zhí)行濾波，以支持非對(duì)稱地位于由非對(duì)稱插值濾波器支持的區(qū)域中的插值位置的兩側(cè)的整像素單元像素；以及如果對(duì)稱插值濾波器被選擇，則通過使用對(duì)稱插值濾波器的濾波器系數(shù)執(zhí)行濾波，以支持對(duì)稱地位于由對(duì)稱插值濾波器支持的區(qū)域中的插值位置的兩側(cè)的整像素單元像素。產(chǎn)生至少一個(gè)子像素單元像素值的操作可包括：如果包括奇數(shù)個(gè)濾波器系數(shù)的非對(duì)稱奇數(shù)抽頭插值濾波器從插值濾波器中被選擇，則通過使用非對(duì)稱奇數(shù)抽頭插值濾波器的奇數(shù)個(gè)濾波器系數(shù)來執(zhí)行濾波，以支持位于由非對(duì)稱奇數(shù)抽頭插值濾波器支持的區(qū)域中的插值位置的兩側(cè)的奇數(shù)個(gè)整像素單元像素；以及如果包括偶數(shù)個(gè)濾波器系數(shù)的對(duì)稱偶數(shù)抽頭插值濾波器從插值濾波器中被選擇，則通過使用對(duì)稱偶數(shù)抽頭插值濾波器的偶數(shù)個(gè)濾波器系數(shù)來執(zhí)行濾波，以支持位于由對(duì)稱偶數(shù)抽頭插值濾波器支持的區(qū)域中的插值位置的兩側(cè)的偶數(shù)個(gè)整像素單元像素。為了對(duì)空域中的整像素單元像素進(jìn)行插值，每個(gè)插值濾波器可包括通過將使用用于變換和逆變換的多個(gè)基函數(shù)的濾波器和非對(duì)稱或?qū)ΨQ窗口濾波器進(jìn)行組合所獲得的濾波器系數(shù)。選擇插值濾波器的操作可包括：從插值濾波器中選擇被正則化的用于使作為使用所選擇的插值濾波器的插值結(jié)果產(chǎn)生的頻率響應(yīng)誤差最小化的插值濾波器，被正則化的插值濾波器可包括：i)包括7抽頭濾波器系數(shù){-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素單元插值濾波器；ii)包括8抽頭濾波器系數(shù){-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素單元插值濾波器。根據(jù)本發(fā)明的另一方面，提供一種使用基于變換的插值濾波器的圖像插值設(shè)備，所述設(shè)備包括：濾波器選擇器，根據(jù)在由用于產(chǎn)生位于整像素單元像素之間的至少一個(gè)子像素單元像素值的插值濾波器支持的區(qū)域中的子像素單元插值位置，從插值濾波器中分別選擇相對(duì)于插值位置的對(duì)稱插值濾波器或非對(duì)稱插值濾波器；以及插值器，通過使用所選擇的插值濾波器對(duì)整像素單元像素進(jìn)行插值來產(chǎn)生至少一個(gè)子像素單元像素值。根據(jù)本發(fā)明的另一方面，提供一種使用圖像插值濾波器的視頻編碼設(shè)備，所述設(shè)備包括：編碼器，根據(jù)在由用于產(chǎn)生位于整像素單元像素之間的至少一個(gè)子像素單元像素值的插值濾波器支持的區(qū)域中的子像素單元插值位置，從插值濾波器中針對(duì)輸入畫面的每個(gè)塊分別選擇相對(duì)于由選擇的插值濾波器支持的區(qū)域中的插值位置的對(duì)稱插值濾波器或非對(duì)稱插值濾波器，通過使用所選擇的插值濾波器對(duì)整像素單元像素進(jìn)行插值來產(chǎn)生至少一個(gè)子像素單元像素值，執(zhí)行預(yù)測編碼，并對(duì)根據(jù)預(yù)測編碼的預(yù)測結(jié)果執(zhí)行變換和量化；輸出單元，輸出通過對(duì)量化的變換系數(shù)和編碼信息執(zhí)行熵編碼所產(chǎn)生的比特流；以及存儲(chǔ)單元，存儲(chǔ)插值濾波器的濾波器系數(shù)。根據(jù)本發(fā)明的另一方面，提供一種使用圖像插值濾波器的視頻解碼設(shè)備，所述設(shè)備包括：接收器和提取器，接收視頻的編碼的比特流，執(zhí)行熵解碼和解析，并提取視頻的畫面的編碼信息和編碼數(shù)據(jù)；解碼器，對(duì)畫面的當(dāng)前塊的編碼數(shù)據(jù)的量化的變換系數(shù)執(zhí)行反量化和逆變換，根據(jù)在由用于產(chǎn)生位于整像素單元像素之間的至少一個(gè)子像素單元像素值的插值濾波器支持的區(qū)域中的子像素單元插值位置，從插值濾波器中分別選擇相對(duì)于插值位置的對(duì)稱插值濾波器或非對(duì)稱插值濾波器，通過使用所選擇的插值濾波器對(duì)整像素單元像素進(jìn)行插值來產(chǎn)生至少一個(gè)子像素單元像素值，并執(zhí)行預(yù)測解碼以恢復(fù)畫面；以及存儲(chǔ)單元，存儲(chǔ)插值濾波器的濾波器系數(shù)。根據(jù)本發(fā)明的另一方面，提供一種其上記錄有用于執(zhí)行上述的方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)。具體實(shí)施方式在下面的描述中，“圖像”可全面地表示諸如視頻的運(yùn)動(dòng)圖像以及靜止圖像。參照圖1至圖12B公開根據(jù)本發(fā)明的實(shí)施例的考慮平滑的使用非對(duì)稱插值濾波器和對(duì)稱插值濾波器的插值。此外，參照圖13A至圖27公開根據(jù)本發(fā)明的實(shí)施例的使用非對(duì)稱插值濾波器和對(duì)稱插值濾波器的視頻編碼和解碼。具體地講，參照圖15至圖25公開根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的使用非對(duì)稱插值濾波器和對(duì)稱插值濾波器的視頻編碼和解碼?，F(xiàn)在將參照圖1至圖12B詳細(xì)地描述根據(jù)本發(fā)明的實(shí)施例的考慮平滑的使用非對(duì)稱插值濾波器和對(duì)稱插值濾波器的插值。圖1是根據(jù)本發(fā)明的實(shí)施例的圖像插值設(shè)備10的框圖。使用對(duì)稱插值濾波器和非對(duì)稱插值濾波器的圖像插值設(shè)備10包括濾波器選擇器12和插值器14。圖像插值設(shè)備10的濾波器選擇器12和插值器14的操作可由視頻編碼處理器、中央處理單元(CPU)和圖形處理器協(xié)同控制。圖像插值設(shè)備10可接收輸入圖像，并可通過對(duì)整像素單元像素進(jìn)行插值來產(chǎn)生子像素單元像素值。輸入圖像可以是視頻的畫面序列、畫面、幀或塊。濾波器選擇器12可基于子像素單元插值位置不同地選擇用于產(chǎn)生位于整像素單元之間的至少一個(gè)子像素單元像素值的插值濾波器。插值器14可通過使用濾波器選擇器12所選擇的插值濾波器對(duì)與子像素單元插值位置鄰近的整像素單元像素進(jìn)行插值，從而產(chǎn)生子像素單元像素值。對(duì)整像素單元像素進(jìn)行插值濾波以產(chǎn)生子像素單元像素值的操作可包括：對(duì)包括與由插值濾波器支持的區(qū)域中的子像素單元插值位置鄰近的整像素單元像素的整像素單元參考像素值進(jìn)行插值濾波。插值濾波器可包括用于基于多個(gè)基函數(shù)對(duì)整像素單元參考像素進(jìn)行變換以及用于對(duì)作為變換結(jié)果產(chǎn)生的多個(gè)系數(shù)進(jìn)行逆變換的濾波器系數(shù)。插值濾波器可以是一維濾波器或二維濾波器。如果所選擇的插值濾波器是一維濾波器，則插值器14可通過在兩個(gè)或更多個(gè)方向上使用一維插值濾波器連續(xù)地執(zhí)行濾波，從而產(chǎn)生當(dāng)前的子像素單元像素值。濾波器選擇器12可根據(jù)子像素單元插值位置分別選擇插值濾波器。插值濾波器可包括對(duì)稱插值濾波器和非對(duì)稱插值濾波器，其中，對(duì)稱插值濾波器在由對(duì)稱插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括相同數(shù)量的濾波器系數(shù)，非對(duì)稱插值濾波器在由非對(duì)稱插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括不同數(shù)量的濾波器系數(shù)。濾波器選擇器12可根據(jù)子像素單元插值位置分別選擇對(duì)稱插值濾波器和非對(duì)稱插值濾波器。例如，7抽頭插值濾波器可在由7抽頭插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括三個(gè)濾波器系數(shù)和四個(gè)濾波器系數(shù)。在此情況下，7抽頭插值濾波器可被視為非對(duì)稱插值濾波器。例如，8抽頭插值濾波器可在由8抽頭插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括四個(gè)濾波器系數(shù)和四個(gè)濾波器系數(shù)。在此情況下，8抽頭插值濾波器可被視為對(duì)稱插值濾波器。如果濾波器選擇器12選擇了非對(duì)稱插值濾波器，則插值器14可對(duì)相對(duì)于插值位置不對(duì)稱設(shè)置的整像素單元像素執(zhí)行濾波。否則，如果對(duì)稱插值濾波器被選擇，則插值器14可對(duì)相對(duì)于插值位置對(duì)稱設(shè)置的整像素單元像素執(zhí)行濾波。插值濾波器可包括非對(duì)稱奇數(shù)抽頭插值濾波器和對(duì)稱偶數(shù)抽頭插值濾波器，其中，非對(duì)稱奇數(shù)抽頭插值濾波器包括奇數(shù)個(gè)濾波器系數(shù)，對(duì)稱偶數(shù)抽頭插值濾波器包括偶數(shù)個(gè)濾波器系數(shù)。濾波器選擇器12可根據(jù)子像素單元插值位置分別選擇非對(duì)稱奇數(shù)抽頭插值濾波器和對(duì)稱偶數(shù)抽頭插值濾波器。例如，1/2像素單元插值濾波器和1/4像素單元插值濾波器可被分別不同地選擇。因此，8抽頭插值濾波器(即，對(duì)稱偶數(shù)抽頭插值濾波器)可被選擇為1/2像素單元插值濾波器，7抽頭插值濾波器(即，非對(duì)稱奇數(shù)抽頭插值濾波器)可被選擇為1/4像素單元插值濾波器。為了對(duì)空域中的整像素單元像素進(jìn)行插值，可通過將用于通過使用多個(gè)基函數(shù)執(zhí)行變換和逆變換的濾波器系數(shù)和用于執(zhí)行低通濾波的窗口濾波器系數(shù)進(jìn)行組合來獲得每個(gè)插值濾波器?？苫谙鄬?duì)于插值位置非對(duì)稱的窗口濾波器或者相對(duì)于插值位置對(duì)稱的窗口濾波器來產(chǎn)生插值濾波器。還可通過將用于基于多個(gè)基函數(shù)執(zhí)行變換和逆變換的濾波器和非對(duì)稱窗口濾波器進(jìn)行組合來產(chǎn)生非對(duì)稱插值濾波器。如果奇數(shù)抽頭插值濾波器被選擇，則插值器14可通過使用奇數(shù)抽頭插值濾波器的奇數(shù)個(gè)濾波器系數(shù)來對(duì)相對(duì)于插值位置設(shè)置的奇數(shù)個(gè)整像素單元像素執(zhí)行濾波。如果偶數(shù)抽頭插值濾波器被選擇，則插值器14可通過使用偶數(shù)抽頭插值濾波器的偶數(shù)個(gè)濾波器系數(shù)來對(duì)相對(duì)于插值位置設(shè)置的偶數(shù)個(gè)整像素單元像素執(zhí)行濾波。奇數(shù)抽頭插值濾波器可在相應(yīng)支持區(qū)域中的插值位置的兩側(cè)包括不同數(shù)量的濾波器系數(shù)，因此可以是非對(duì)稱插值濾波器。偶數(shù)抽頭插值濾波器可以是在相應(yīng)支持區(qū)域中的插值位置的兩側(cè)包括相同數(shù)量的濾波器系數(shù)的對(duì)稱插值濾波器。濾波器選擇器12可選擇被正則化以使作為使用插值濾波器的插值結(jié)果產(chǎn)生的頻率響應(yīng)誤差最小化的插值濾波器。例如，被正則化的插值濾波器可包括：i)包括7抽頭濾波器系數(shù){-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素單元插值濾波器；ii)包括8抽頭濾波器系數(shù){-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素單元插值濾波器。此外，濾波器選擇器12可根據(jù)顏色分量分別不同地選擇插值濾波器。例如，被正則化的用于亮度像素的插值濾波器可被確定為1/4像素單元7抽頭插值濾波器和1/2像素單元8抽頭插值濾波器。被正則化的用于色度像素的插值濾波器可被確定為1/8像素單元、1/4像素單元和1/2像素單元4抽頭插值濾波器。確定的被正則化的用于色度像素的插值濾波器可包括：i)包括用于1/8插值位置的4抽頭濾波器系數(shù){-2,58,10,-2}并具有0.012的平滑度的1/8像素單元插值濾波器；ii)包括用于1/4插值位置的4抽頭濾波器系數(shù){-4,54,16,-2}并具有0.016的平滑度的1/4像素單元插值濾波器；iii)包括用于3/8插值位置的4抽頭濾波器系數(shù){-6,46,28,-4}并具有0.018的平滑度的1/8像素單元插值濾波器；以及iv)包括用于1/2插值位置的4抽頭濾波器系數(shù){-4,36,36,-4}并具有0.020的平滑度的1/2像素單元插值濾波器。插值濾波器可以是鏡面反射對(duì)稱濾波器，其中，插值位置α的濾波器系數(shù)f(α)和插值位置(1-α)的濾波器系數(shù)fl(1-α)可以相同。用于亮度像素的1/4像素單元插值濾波器可以是鏡面反射對(duì)稱濾波器。因此，用于1/4插值位置的插值濾波器和用于3/4插值位置的插值濾波器可包括對(duì)稱相同的系數(shù)。如果1/4像素單元7抽頭亮度插值濾波器包括1/4插值位置的濾波器系數(shù){-1,4,-10,58,17,-5,1}，則其可包括3/4插值位置的濾波器系數(shù){1,-5,17,58,-10,4,-1}。用于色度像素的1/8像素單元插值濾波器可以是鏡面反射對(duì)稱濾波器。因此，用于1/8插值位置的插值濾波器和用于7/8插值位置的插值濾波器可包括對(duì)稱相同的系數(shù)。類似地，用于3/8插值位置的插值濾波器和用于5/8插值位置的插值濾波器可包括對(duì)稱相同的系數(shù)?？苫诎ㄍㄟ^使用多個(gè)基函數(shù)確定的濾波器系數(shù)的基于變換的插值濾波器來確定插值濾波器。此外，從基于變換的插值濾波器修改的平滑插值濾波器可被用于通過根據(jù)插值位置和整像素單元像素之間的距離改變其平滑度來執(zhí)行濾波?？苫诓逯滴恢煤驼袼貑卧袼刂g的距離來確定平滑插值濾波器的平滑度。插值濾波器可根據(jù)其平滑度和子像素單元插值位置而包括不同的濾波器系數(shù)。還可基于插值位置和與插值位置鄰近的整像素單元像素之間的距離來確定平滑插值濾波器的平滑度。此外，插值濾波器可包括用于允許遠(yuǎn)離插值位置的整像素單元參考像素被平滑的濾波器系數(shù)。通過將用于執(zhí)行變換和逆變換的濾波器系數(shù)和用于執(zhí)行低通濾波的窗口濾波器系數(shù)進(jìn)行組合所獲得的平滑插值濾波器可包括用于將大權(quán)重給予接近于插值位置的整像素單元參考像素并將小權(quán)重給予遠(yuǎn)離插值位置的整像素單元參考像素的濾波器系數(shù)。平滑插值濾波器可包括用于對(duì)整像素單元參考像素進(jìn)行平滑、通過使用多個(gè)基函數(shù)對(duì)平滑后的整像素單元參考像素進(jìn)行變換并且對(duì)作為變換結(jié)果產(chǎn)生的多個(gè)系數(shù)進(jìn)行逆變換的濾波器系數(shù)。平滑插值濾波器可根據(jù)其長度以及其平滑度和子像素單元插值位置而包括不同的濾波器系數(shù)。此外，平滑插值濾波器可根據(jù)作為插值結(jié)果的縮放比例以及其平滑度、其長度和子像素單元插值位置而包括不同的濾波器系數(shù)。濾波器選擇器12可選擇濾波器系數(shù)增加到整數(shù)的平滑插值濾波器。插值器14對(duì)通過使用濾波器選擇器12所選擇的平滑插值濾波器而產(chǎn)生的像素值進(jìn)行正則化。此外，濾波器選擇器12可根據(jù)像素特性不同地選擇插值濾波器。插值器14可通過使用根據(jù)像素特性不同地選擇的插值濾波器來產(chǎn)生子像素單元像素值。可由濾波器選擇器12選擇的插值濾波器可包括平滑插值濾波器和不考慮平滑的一般插值濾波器。因此，根據(jù)圖像特性，濾波器選擇器12可選擇完全不考慮平滑的一般插值濾波器。例如，根據(jù)另一實(shí)施例，圖像插值設(shè)備10可根據(jù)顏色分量通過使用不同的插值濾波器來執(zhí)行圖像插值。根據(jù)另一實(shí)施例，濾波器選擇器12可基于當(dāng)前像素的子像素單元插值位置和顏色分量不同地選擇插值濾波器。根據(jù)另一實(shí)施例，插值器14可通過使用所選擇的插值濾波器對(duì)整像素單元像素進(jìn)行插值，從而產(chǎn)生至少一個(gè)子像素單元像素值。例如，濾波器選擇器12可不同地確定用于亮度分量的插值濾波器和用于色度分量的插值濾波器。為了對(duì)色度像素進(jìn)行插值，濾波器選擇器12可選擇具有比用于亮度像素的插值濾波器的平滑度大的平滑度的平滑插值濾波器。此外，為了對(duì)色度像素進(jìn)行插值，可選擇包括基于平滑參數(shù)確定的濾波器系數(shù)的插值濾波器或包括與窗口濾波器組合的濾波器系數(shù)的插值濾波器，其中，所述平滑參數(shù)具有比用于亮度像素的插值濾波器的平滑度大的平滑度，所述窗口濾波器比用于亮度像素的插值濾波器去除更多的高頻分量。為了獲得色度分量的平滑插值結(jié)果，可選擇通過將用于基于多個(gè)基函數(shù)執(zhí)行變換和逆變換的濾波器系數(shù)和用于執(zhí)行低通濾波的窗口濾波器系數(shù)進(jìn)行組合所獲得的平滑插值濾波器。圖像插值設(shè)備10可包括用于全面地控制濾波器選擇器12和插值器14的CPU(未示出)?？蛇x地，濾波器選擇器12和插值器14可被各個(gè)處理器(未示出)驅(qū)動(dòng)，并且處理器可彼此協(xié)同操作，從而操作整個(gè)圖像插值設(shè)備10?？蛇x地，在圖像插值設(shè)備10外部的處理器(未示出)可控制濾波器選擇器12和插值器14。圖像插值設(shè)備10可包括用于存儲(chǔ)濾波器選擇器12和插值器14的輸入/輸出(I/O)數(shù)據(jù)的一個(gè)或更多個(gè)數(shù)據(jù)存儲(chǔ)單元(未示出)。圖像插值設(shè)備10還可包括用于控制數(shù)據(jù)存儲(chǔ)單元(未示出)的數(shù)據(jù)I/O的存儲(chǔ)器控制器(未示出)。圖像插值設(shè)備10可包括包含用于執(zhí)行圖像插值的電路的另外的處理器。可選地，圖像插值設(shè)備10可包括其上記錄有圖像插值模塊的存儲(chǔ)介質(zhì)，CPU可調(diào)用并驅(qū)動(dòng)圖像插值模塊以執(zhí)行圖像插值。圖像插值用于將低質(zhì)量圖像變換為高質(zhì)量圖像，將隔行掃描圖像變換為逐行掃描圖像，或者將低質(zhì)量圖像上采樣為高質(zhì)量圖像。此外，當(dāng)視頻編碼設(shè)備對(duì)圖像編碼時(shí)，運(yùn)動(dòng)估計(jì)器和補(bǔ)償器可通過使用插值的參考幀執(zhí)行幀間預(yù)測。可通過對(duì)參考幀進(jìn)行插值以產(chǎn)生高質(zhì)量圖像并基于高質(zhì)量圖像執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償來提高幀間預(yù)測的精確度。類似地，當(dāng)圖像解碼設(shè)備對(duì)圖像解碼時(shí)，運(yùn)動(dòng)補(bǔ)償器可通過使用插值的參考幀執(zhí)行運(yùn)動(dòng)補(bǔ)償，從而提高幀間預(yù)測的精確度。此外，由圖像插值設(shè)備10使用的平滑插值濾波器可通過使用插值濾波器減少插值結(jié)果中的高頻分量來獲得平滑的插值結(jié)果。由于高頻分量降低了圖像壓縮的效率，因此還可通過執(zhí)行平滑度可調(diào)的圖像插值來提高圖像編碼和解碼的效率。此外，濾波器系數(shù)相對(duì)于插值位置對(duì)稱設(shè)置的對(duì)稱插值濾波器或?yàn)V波器系數(shù)相對(duì)于插值位置非對(duì)稱設(shè)置的非對(duì)稱插值濾波器可被選擇性地使用。此外，作為插值濾波器，奇數(shù)抽頭插值濾波器或偶數(shù)抽頭插值濾波器可根據(jù)插值位置被選擇性地使用。因此，圖像插值設(shè)備10可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的整像素單元像素以及相對(duì)于插值位置對(duì)稱設(shè)置的整像素單元像素執(zhí)行圖像插值濾波。現(xiàn)在將參照圖2至圖7B詳細(xì)地描述根據(jù)本發(fā)明的實(shí)施例的使用通過將用于基于多個(gè)基函數(shù)執(zhí)行變換和逆變換的濾波器系數(shù)和窗口濾波器系數(shù)進(jìn)行組合所獲得的插值濾波器的插值。圖2是用于描述整像素單元和子像素單元之間的關(guān)系的示圖。參照圖2，圖像插值設(shè)備10通過對(duì)空域中的預(yù)定塊20的位置“O”的整像素單元像素值進(jìn)行插值來產(chǎn)生位置“X”的像素值。位置“X”的像素值是由αx和αy確定的插值位置的子像素單元像素值。雖然圖2示出了預(yù)定塊20是4×4塊，但是本領(lǐng)域的普通技術(shù)人員將理解，塊尺寸不限于4×4，可以大于或小于4×4。在視頻處理中，運(yùn)動(dòng)矢量用于對(duì)當(dāng)前圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償和預(yù)測。根據(jù)預(yù)測編碼，參考先前解碼的圖像以預(yù)測當(dāng)前圖像，并且運(yùn)動(dòng)矢量指示參考圖像的預(yù)定點(diǎn)。因此，運(yùn)動(dòng)矢量指示參考圖像的整像素單元像素。然而，將被當(dāng)前圖像參考的像素可以位于參考圖像的整像素單元像素之間。這樣的位置被稱為子像素單元位置。由于像素不存在于子像素單元位置，因此僅僅通過使用整像素單元像素值預(yù)測子像素單元像素值。換言之，通過對(duì)整像素單元像素進(jìn)行插值來估計(jì)子像素單元像素值?，F(xiàn)在將參照圖3和圖4A至圖4C詳細(xì)地描述對(duì)整像素單元像素進(jìn)行插值的方法。圖3是示出根據(jù)本發(fā)明的實(shí)施例的將被參考的以確定子像素單元像素值的鄰近整像素單元像素的示圖。參照圖3，圖像插值設(shè)備10通過對(duì)空域中的整像素單元像素值31和33進(jìn)行插值來產(chǎn)生插值位置的子像素單元像素值35。插值位置由α確定。圖4A至圖4C是示出根據(jù)本發(fā)明的實(shí)施例的將被參考的以確定子像素單元像素值的整像素單元像素的示例的示圖。參照圖4A，為了通過對(duì)兩個(gè)整像素單元像素值31和33進(jìn)行插值來產(chǎn)生子像素單元像素值35，使用包括整像素單元像素值31和33的多個(gè)鄰近整像素單元像素值37和39。換言之，可通過對(duì)從第-(M-1)像素值到第M像素值的2M個(gè)像素值執(zhí)行一維插值濾波來對(duì)第0像素和第1像素進(jìn)行插值。此外，雖然圖4A示出了對(duì)水平方向上的像素值進(jìn)行插值，但是可通過使用垂直方向或?qū)蔷€方向上的像素值執(zhí)行一維插值濾波。參照圖4B，可通過對(duì)垂直方向上的彼此鄰近的像素P041和P143進(jìn)行插值來產(chǎn)生插值位置α的像素值P(α)。當(dāng)將圖4A和圖4B比較時(shí)，它們的插值濾波方法相似，其差異僅在于在圖4B中對(duì)沿垂直方向排列的像素值47和49進(jìn)行插值，而在圖4A中對(duì)沿水平方向排列的像素值37和39進(jìn)行插值。參照圖4C，類似地，通過對(duì)兩個(gè)鄰近的像素值40和42進(jìn)行插值來產(chǎn)生插值位置α的像素值44。與圖4A的差異僅在于使用沿對(duì)角線方向排列的像素值46和48，而非沿水平方向排列的像素值37和39。除了圖4A至圖4C中示出的方向之外，可沿各種方向執(zhí)行一維插值濾波。可執(zhí)行插值濾波以對(duì)用于產(chǎn)生子像素單元像素值的整像素單元像素進(jìn)行插值。插值濾波可由下面的等式表示。通過根據(jù)2M個(gè)整像素單元參考像素{pm}＝{p-M+1,p-M+2,...,p0,p1,...,pM}的矢量p和濾波器系數(shù){fm}＝{f-M+1,f-M+2,...,f0,f1,...,fM}的矢量f(x)的點(diǎn)積執(zhí)行插值來產(chǎn)生像素值p(x)。由于濾波器系數(shù)f(α)根據(jù)插值位置α變化并且根據(jù)濾波器系數(shù)f(α)確定通過執(zhí)行插值所獲得的像素值p(α)，因此所選擇的插值濾波器(即，確定的濾波器系數(shù)f(x))極大地影響插值濾波的性能。現(xiàn)在將詳細(xì)地描述使用基于基函數(shù)的變換和逆變換的圖像插值以及確定插值濾波器的方法。使用變換和逆變換的插值濾波器首先通過使用具有不同頻率分量的多個(gè)基函數(shù)來變換像素值。變換可包括從空域中的像素值到變換域中的系數(shù)的所有類型的變換，并且可以是離散余弦變換(DCT)。通過使用多個(gè)基函數(shù)變換整像素單元像素值。像素值可以是亮度像素值或色度像素值?；瘮?shù)不限于特定的基函數(shù)，可包括用于將空域中的像素值變換為變換域中的像素值的所有基函數(shù)。例如，基函數(shù)可以是用于執(zhí)行DCT和逆DCT(IDCT)的余弦或正弦函數(shù)?？蛇x地，可使用諸如樣條函數(shù)和多項(xiàng)式基函數(shù)的各種基函數(shù)。此外，DCT可以是修改的DCT(MDCT)或具有窗口的MDCT。使用變換和逆變換的插值濾波器對(duì)用于執(zhí)行變換的基函數(shù)進(jìn)行移相，并對(duì)通過使用移相后的基函數(shù)產(chǎn)生的多個(gè)系數(shù)的值(即，變換域中的值)進(jìn)行逆變換。作為逆變換結(jié)果，空域中的像素值被輸出，并且輸出的值可以是插值位置的像素值。<使用基于正交基函數(shù)的正交變換和逆變換的濾波器系數(shù)>現(xiàn)在將詳細(xì)地描述插值器14使用基于正交基函數(shù)的變換和逆變換執(zhí)行插值的情況。具體地講，DCT被描述為變換的示例。例如，參照圖4A，為了通過使用包括整像素單元像素值31和33的多個(gè)鄰近的整像素單元像素值37和39對(duì)兩個(gè)整像素單元像素值31和33進(jìn)行插值來產(chǎn)生子像素單元像素值35，可通過對(duì)從第-(M-1)像素值到第M像素值的2M個(gè)像素值執(zhí)行一維DCT并基于移相后的基函數(shù)執(zhí)行一維IDCT來對(duì)第0像素和第1像素進(jìn)行插值。插值器14首先對(duì)整像素單元像素值執(zhí)行一維DCT。一維DCT可如等式38中所表示的被執(zhí)行。[等式38]O≤k≤2M-1p(l)表示從第-(M-1)像素值到第M像素值的像素值37和39，Ck表示通過對(duì)像素值37和39執(zhí)行一維DCT所產(chǎn)生的頻域中的多個(gè)系數(shù)。在此情況下，k是滿足上面等式38的條件的正整數(shù)。在通過使用等式38對(duì)像素值37和39執(zhí)行一維DCT之后，插值器14對(duì)如等式39中表示的系數(shù)執(zhí)行逆變換。[等式39]α表示如圖13中所示的兩個(gè)像素值之間的插值位置，并可具有各種分?jǐn)?shù)值，諸如1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16等。分?jǐn)?shù)值不限于特定值，α可以是實(shí)值而非分?jǐn)?shù)值。P(α)表示作為一維IDCT結(jié)果產(chǎn)生的插值位置α的子像素單元像素值35。當(dāng)?shù)仁?9與等式38比較時(shí)，作為用于執(zhí)行IDCT的基函數(shù)的余弦函數(shù)的相位根據(jù)分?jǐn)?shù)α而非整數(shù)l被確定，因此，與用于執(zhí)行一維DCT的基函數(shù)的相位不同。換言之，用于執(zhí)行逆變換的每個(gè)基函數(shù)(即，余弦函數(shù))的相位根據(jù)2α被移動(dòng)。如果插值器14根據(jù)等式39基于移相后的余弦函數(shù)執(zhí)行IDCT，則產(chǎn)生插值位置α的子像素單元像素值35，即，P(α)。根據(jù)等式38的DCT由等式40中表示的行列式表示。[等式40]C＝D×REF這里，C是以上結(jié)合等式38描述的2M個(gè)系數(shù)的2M×1矩陣，REF是以上結(jié)合等式38描述的整像素單元像素值(即，P-(M-1),...PM像素值)的2M×1矩陣。用于執(zhí)行插值的整像素單元像素值的數(shù)量(即，2M)表示一維插值濾波器的抽頭的數(shù)量。D是用于執(zhí)行一維DCT的方陣并可如等式4中表示的被定義。[等式4]O≤k≤2M-1-(M-1)≤l≤Mk和l是滿足以上條件的整數(shù)，Dkl表示用于執(zhí)行等式40中的DCT的方陣D的行k和列l(wèi)。M與等式40中的M相同。使用根據(jù)等式39的多個(gè)移相后的基函數(shù)的IDCT由等式5中表示的行列式表示。[等式5]P(α)＝W(α)×C這里，P(α)與等式39的P(α)相同，W(α)是用于通過使用多個(gè)移相后的基函數(shù)執(zhí)行一維IDCT的1×2M矩陣，并可如等式6中表示的被定義。[等式6]1≤k≤2M-1k是滿足以上條件的整數(shù)，Wk(α)表示以上結(jié)合等式5描述的矩陣W(α)的列k。用于使用基于等式3和5的多個(gè)移相后的基函數(shù)執(zhí)行一維DCT和一維IDCT的濾波器F(α)可如等式7中表示的被定義。[等式7]P(α)＝F(α)×REFO≤k≤2M-1-(M-1)≤l≤Mk和l是滿足以上條件的整數(shù)，F(xiàn)l(α)表示F(α)的列l(wèi)，W(α)和D與等式40的W(α)和D相同。<用于縮放插值的插值濾波器系數(shù)>根據(jù)本發(fā)明的實(shí)施例的各種插值濾波器產(chǎn)生方法基于用于產(chǎn)生浮點(diǎn)數(shù)(而非整數(shù))的算術(shù)表達(dá)，并且濾波器系數(shù)的絕對(duì)值通常不大于1。具體地講，可通過子像素單元插值位置α產(chǎn)生實(shí)數(shù)(而非整數(shù))的計(jì)算結(jié)果?；谡麛?shù)的計(jì)算的效率大于基于浮點(diǎn)數(shù)的計(jì)算的效率。如此，圖像插值設(shè)備10可通過使用縮放比例將濾波器系數(shù)縮放為整數(shù)來提高插值濾波的計(jì)算效率。此外，由于像素值的比特深度增加，因此插值濾波的精確度也可被提高。圖像插值設(shè)備10可將濾波器系數(shù)fm(α)乘以預(yù)定值，并可通過使用大的濾波器系數(shù)Fm(α)來執(zhí)行圖像插值。例如，濾波器系數(shù)Fm(α)可如等式8中所示從濾波器系數(shù)fm(α)被縮放。[等式8]Fm(α)＝int(fm(α)·2n)為了計(jì)算的效率，縮放比例可以是2n的形式。n可以是0或正整數(shù)。使用被縮放了2n的濾波器系數(shù)的插值濾波結(jié)果與通過使用原始濾波器系數(shù)獲得的結(jié)果相比可具有被縮放了n比特的比特深度。使用縮放的濾波器系數(shù)Fm(α)的整數(shù)計(jì)算插值濾波可滿足等式9。換言之，在通過使用縮放的濾波器系數(shù)Fm(α)執(zhí)行插值濾波之后，縮放的比特深度必須被恢復(fù)到原始比特深度。[等式9]在此情況下，偏移可以是2n-1。換言之，由于使用縮放的插值濾波器的縮放濾波結(jié)果必須被減小縮放比例(即，2n)以被恢復(fù)到原始比特，因此縮放濾波結(jié)果的比特深度可被減小n比特。如果通過在水平方向上執(zhí)行一維插值濾波并在垂直方向上執(zhí)行一維插值濾波來執(zhí)行兩步插值濾波，則可減小總共2n比特。因此，如果第一一維插值濾波器被縮放n1比特并且第二一維插值濾波器被縮放n2比特，則在通過使用第一和第二一維插值濾波器執(zhí)行兩步插值濾波之后，可減小n1和n2之和，即，2n比特。第一一維插值濾波器可以是未被縮放的插值濾波器。由于濾波器系數(shù)fm(α)之和是1，則[等式10]用于對(duì)縮放的插值濾波器的濾波器系數(shù)Fm(α)進(jìn)行正則化的條件需要滿足等式11。[等式11]然而，根據(jù)等式11的正則化條件可引起舍入誤差。圖像插值設(shè)備10可基于根據(jù)等式11的正則化條件對(duì)縮放的濾波器系數(shù)Fm(α)進(jìn)行舍入。對(duì)于正則化，可在原始值的預(yù)定范圍內(nèi)調(diào)整縮放的濾波器系數(shù)Fm(α)中的一些系數(shù)。例如，可在±1的范圍內(nèi)調(diào)整縮放的濾波器系數(shù)Fm(α)中的一些系數(shù)，以校正舍入誤差。對(duì)于具有奇數(shù)個(gè)參考像素的插值濾波器或相對(duì)于插值位置的非對(duì)稱插值濾波器，插值器14可使用基于多個(gè)基函數(shù)的變換和逆變換來改變插值濾波器。下面將描述使用包括奇數(shù)個(gè)濾波器系數(shù)的奇數(shù)抽頭插值濾波器的圖像插值，所述奇數(shù)抽頭插值濾波器作為使用基于多個(gè)基函數(shù)的變換和逆變換的插值濾波器。<非對(duì)稱插值濾波器>圖5A是用于描述根據(jù)本發(fā)明的實(shí)施例的使用相對(duì)于插值位置不對(duì)稱設(shè)置的參考像素以確定子像素單元像素值的插值濾波方法的示圖。假設(shè)為了計(jì)算子像素單元插值位置α的像素p(α)50，使用相對(duì)于插值位置α的左參考像素52和右參考像素54來執(zhí)行插值濾波。左參考像素52的數(shù)量是3，右參考像素54的數(shù)量是5。由于插值濾波支持奇數(shù)像素，因此左參考像素52和右參考像素54相對(duì)于插值位置α非對(duì)稱設(shè)置。如以上結(jié)合等式38至40以及等式4至7所述，通過使用相對(duì)于插值位置α對(duì)稱分布的2M個(gè)整像素單元參考像素p-M+1,p-M+2,...,p0,p1,...,pM來執(zhí)行插值濾波。即，如果參考像素被表示為pl，則整數(shù)l的范圍被表示為-M+1≤l≤M。如果等式38至40以及等式4至7的插值位置α被平移到α-h，則可通過使用等式38至40以及等式4至7來產(chǎn)生使用如圖5A中所示的相對(duì)于插值位置α非對(duì)稱設(shè)置的參考像素的插值濾波器的濾波器系數(shù)。換言之，如果非對(duì)稱的左參考像素52和右參考像素54被表示為pl，則整數(shù)l的范圍是-M+1+h≤l≤M+h。在此情況下，M是4，h是1。左參考像素52的數(shù)量小于在2M個(gè)參考像素相對(duì)于插值位置α對(duì)稱分布的情況下的數(shù)量。根據(jù)等式38至40以及等式4至7的插值濾波器是一維濾波器。為了通過使用一維濾波器執(zhí)行二維濾波，在垂直方向上并在水平方向上執(zhí)行插值濾波。換言之，一維插值濾波被執(zhí)行兩次。從執(zhí)行一維插值濾波兩次的操作中，對(duì)于執(zhí)行運(yùn)動(dòng)補(bǔ)償，第二一維插值濾波使用濾波器抽頭的數(shù)量增加一半的濾波器，第一一維插值濾波針對(duì)擴(kuò)展塊被執(zhí)行。當(dāng)對(duì)塊的左邊界執(zhí)行插值濾波時(shí)，塊必須從左邊界向左擴(kuò)展。如果使用相對(duì)于插值位置α對(duì)稱設(shè)置的2M個(gè)參考像素的對(duì)稱插值濾波器被使用，則為了執(zhí)行插值濾波，塊必須向左擴(kuò)展M個(gè)像素。然而，如果使用相對(duì)于插值位置α非對(duì)稱設(shè)置的參考像素的非對(duì)稱插值濾波器被使用，則為了執(zhí)行插值濾波，濾波區(qū)域必須向塊的左邊擴(kuò)展M-h個(gè)像素。類似地，如果h是負(fù)方向，則當(dāng)對(duì)塊的右邊界執(zhí)行插值濾波時(shí)，濾波區(qū)域必須向塊的右邊擴(kuò)展M+h個(gè)像素。換言之，如果對(duì)塊的邊界執(zhí)行插值濾波，則與使用對(duì)稱插值濾波器的情況相比，當(dāng)使用非對(duì)稱插值濾波器時(shí)，塊的將被擴(kuò)展的區(qū)域可以減小。如此，用于存儲(chǔ)擴(kuò)展區(qū)域的像素值的存儲(chǔ)空間可以減小，并且用于擴(kuò)展塊的計(jì)算的量也可以減小。<奇數(shù)抽頭插值濾波器>圖5B是用于描述根據(jù)本發(fā)明的實(shí)施例的使用包括奇數(shù)個(gè)濾波器系數(shù)的插值濾波器以確定子像素單元像素值的插值方法的示圖。假設(shè)為了計(jì)算子像素單元插值位置α的像素p(α)55，插值濾波器使用參考像素{p-2,p-1,p0,p1,p2}。參考像素的數(shù)量是5，即，奇數(shù)，并且相對(duì)于插值位置α的三個(gè)左參考像素51和兩個(gè)右參考像素53可被參考以執(zhí)行插值濾波。由于左參考像素51和右參考像素53相對(duì)于插值位置α非對(duì)稱設(shè)置，并且右參考像素53的數(shù)量小于左參考像素51的數(shù)量，因此圖5B中示出的插值濾波器可以對(duì)塊的右邊界有效執(zhí)行插值濾波。首先，根據(jù)等式12至15，使用整數(shù)l的范圍是-M+1≤l≤M-1的參考像素{pl}并具有2M-1的濾波器尺寸Size(即，濾波器抽頭的數(shù)量)的插值濾波器的濾波器系數(shù){p(α)}被確定。[等式12]-M+1≤l≤M-1；0≤k≤Size-1[等式13]0≤k≤Size-1[等式14][等式15]如果M是3，則可根據(jù)等式15確定圖5B的插值濾波器系數(shù)。可選地，根據(jù)等式16至19，使用整數(shù)l的范圍是-M+2≤l≤M的參考像素{pl}并具有2M-1的濾波器尺寸Size(即，濾波器抽頭的數(shù)量)的插值濾波器的濾波器系數(shù){p(α)}可被確定。[等式16]-M+2≤l≤M；0≤k≤Size-1[等式17][等式18][等式19]可對(duì)從圖5B的參考像素向右平移1的像素執(zhí)行使用根據(jù)等式19確定的濾波器系數(shù)的插值濾波。在等式12至19中，α不限于等于或大于0并且等于或小于1的值。換言之，α可具有小于0的值或大于1的值。因此，基于等式12至19，可獲得具有奇數(shù)個(gè)濾波器抽頭的奇數(shù)抽頭插值濾波器。由于濾波器抽頭的數(shù)量是奇數(shù)，因此可對(duì)奇數(shù)個(gè)參考像素執(zhí)行使用插值濾波器的插值濾波。還可通過將使用相對(duì)于插值位置非對(duì)稱設(shè)置的參考像素的插值濾波器和奇數(shù)抽頭插值濾波器進(jìn)行組合來獲得插值濾波器。即，用于對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的奇數(shù)個(gè)像素執(zhí)行插值濾波的插值濾波器也是可用的。如果等式12至15中的參考像素的中心被概括，則可根據(jù)等式20和21推導(dǎo)出插值濾波器的濾波器系數(shù)。[等式20][等式21]這里，Mmax和Mmin分別表示參考像素中的最小索引值和最大索引值，并可表示參考像素的范圍。因此，濾波器尺寸Size可被確定為Mmax-Mmin+1。例如，在7抽頭插值濾波器中，如果Mmax＝3并且Mmin＝-3，則參考像素的中心索引Center可以是0。換言之，Center具有Mmax和Mmin的平均值。此外，如果用于根據(jù)等式20和21的插值濾波器的基函數(shù)被表示為余弦變換函數(shù)的基函數(shù)Wk，則推導(dǎo)出等式22和23。[等式22][等式23]1≤k≤Size-1因此，插值濾波器可以是使用相對(duì)于插值位置非對(duì)稱設(shè)置的參考像素的非對(duì)稱插值濾波器，并可包括濾波器系數(shù)的數(shù)量是奇數(shù)的奇數(shù)抽頭插值濾波器。如以上結(jié)合等式38至40以及等式4至7所述，插值濾波器還可包括對(duì)稱插值濾波器和偶數(shù)抽頭插值濾波器。通常，奇數(shù)抽頭插值濾波器可以是非對(duì)稱插值濾波器。然而，偶數(shù)抽頭插值濾波器可以是對(duì)稱插值濾波器或非對(duì)稱插值濾波器。例如，如果8抽頭插值濾波器在由對(duì)稱的偶數(shù)抽頭插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括四個(gè)濾波器系數(shù)和四個(gè)濾波器系數(shù)，則該8抽頭插值濾波器可以是對(duì)稱的偶數(shù)抽頭插值濾波器，而如果其在非對(duì)稱的偶數(shù)抽頭插值濾波器支持的區(qū)域中的插值位置的兩側(cè)包括三個(gè)濾波器系數(shù)和五個(gè)濾波器系數(shù)，則其可以是非對(duì)稱偶數(shù)抽頭插值濾波器。插值濾波器可包括通過根據(jù)插值位置調(diào)整插值濾波器的響應(yīng)的平滑度所產(chǎn)生的濾波器系數(shù)。現(xiàn)在將詳細(xì)地描述窗口濾波器用于確定各種平滑插值濾波器的情況。<使用窗口濾波器的平滑插值濾波器>現(xiàn)在將詳細(xì)地描述通過使用窗口濾波器對(duì)插值濾波器系數(shù)進(jìn)行平滑的方法。窗口濾波器可使用漢明(hamming)窗函數(shù)、余弦窗函數(shù)、指數(shù)窗函數(shù)、漢寧(hanning)窗函數(shù)、布萊克曼窗函數(shù)和三角窗函數(shù)。雖然為了方便解釋，下面將描述通過使用特定窗函數(shù)對(duì)基于變換和逆變換的插值濾波器進(jìn)行平滑的情況，但是本領(lǐng)域的普通技術(shù)人員將理解，除了所描述的窗函數(shù)之外，還可使用具有相似頻率響應(yīng)的其他窗函數(shù)。根據(jù)漢明窗函數(shù)的窗口系數(shù)滿足等式24。[等式24]在包括漢明窗函數(shù)的各種窗函數(shù)中，輸入n相對(duì)于N/2對(duì)稱，并且頻率響應(yīng)與低通濾波器的頻率響應(yīng)相似。從窗函數(shù)的輸入中，僅由窗函數(shù)所形成的窗口覆蓋的輸入可被輸出。窗口尺寸N可被設(shè)置為大于原始插值濾波器的長度的正整數(shù)。例如，為了將窗函數(shù)應(yīng)用于產(chǎn)生子像素單元像素(諸如1/2或1/4像素)的插值濾波器，窗函數(shù)的中心位置可被移動(dòng)1/2或1/4像素。即，由于窗函數(shù)的中心位置被移動(dòng)到插值位置，因此窗函數(shù)可以相對(duì)于插值位置對(duì)稱。例如，等式25和26分別示出用于1/2像素單元和1/4像素單元插值濾波器的漢明窗函數(shù)的窗口系數(shù)。[等式25][等式26]等式27依次示出作為用于根據(jù)子像素單元插值位置α產(chǎn)生的插值濾波器的窗函數(shù)的漢明窗函數(shù)、余弦窗函數(shù)和指數(shù)窗函數(shù)的窗口系數(shù)。[等式27]wα(n)＝exp{-β(α-m)2}通過將根據(jù)等式27的窗口系數(shù)與原始插值濾波器fk(α)進(jìn)行組合，可根據(jù)等式28確定平滑插值濾波器系數(shù)。[等式28]由于通過使用窗口濾波器確定平滑插值濾波器，因此可基于整像素單元參考像素和插值位置之間的距離來調(diào)整插值濾波器系數(shù)的權(quán)重。例如，可以以如下方式確定平滑插值濾波器：通過窗函數(shù)，在插值濾波器的濾波器系數(shù)中，對(duì)遠(yuǎn)離插值位置的整像素單元參考像素的濾波器系數(shù)進(jìn)行極大地平滑，而接近插值位置的整像素單元參考像素的濾波器系數(shù)沒有很大地改變。此外，如果通過使用窗口濾波器確定平滑插值濾波器，則可在整像素單元參考像素被平滑之后執(zhí)行插值濾波。輸入的整像素單元參考像素Ref＝{p-M+1,p-M+2,...,p0,p1,...,pM}可能包括噪聲，或者可由于諸如量化誤差的誤差而被損壞。如此，如果整像素單元參考像素在插值濾波被執(zhí)行之前被平滑，則圖像插值設(shè)備10可提高插值效果。<使用非對(duì)稱窗口濾波器的插值濾波器>非對(duì)稱窗口濾波器相對(duì)于濾波器的中心非對(duì)稱。因此，用于插值濾波器的非對(duì)稱窗口濾波器可被用于相對(duì)于插值位置非對(duì)稱地執(zhí)行插值濾波。等式29示出最簡形式的非對(duì)稱窗口濾波器的濾波器系數(shù)wl。[等式29]-Mmin≤l≤MmaxN表示窗口尺寸，Mmin和Mmax表示距插值位置最遠(yuǎn)的位置的參考像素?？赏ㄟ^改變窗口尺寸N調(diào)整窗口濾波器的濾波器特性。窗口尺寸N可等于或大于插值濾波器的濾波器尺寸Size，并且可等于或小于濾波器尺寸Size的兩倍(Size≤N≤2×Size)。例如，當(dāng)?shù)仁?8至40以及等式4至7與等式29組合時(shí)，如果M是4的對(duì)稱插值濾波器的濾波器系數(shù)被確定，則由于參考像素的數(shù)量(2M)是8，因此8抽頭插值濾波器被獲得。如果窗口尺寸N＝13的窗函數(shù)被使用，則1/4像素單元插值濾波器和1/2像素單元插值濾波器的濾波器系數(shù)被如下表示。這里，使用的縮放因子S是64。1/4像素單元插值濾波器系數(shù){pl}＝{-1,4,-10,57,19,-7,3,-1}1/2像素單元插值濾波器系數(shù){pl}＝{-1,4,-11,40,40,-11,4,-1}類似地，當(dāng)?shù)仁?8至40以及等式4至7與等式29組合時(shí)，如果Mmin和Mmax被不同地調(diào)整，則可通過使用非對(duì)稱窗口濾波器來確定非對(duì)稱插值濾波器的濾波器系數(shù)。<使用兩個(gè)參數(shù)的平滑插值濾波器>平滑插值濾波器可基于兩個(gè)參數(shù)確定濾波器系數(shù)的平滑度。通過將平滑矩陣S和基于變換和逆變換的插值濾波器系數(shù)進(jìn)行組合所獲得的子像素單元平滑插值濾波器系數(shù)滿足等式30。[等式30]等式31示出平滑矩陣S的示例。[等式31]sij＝0；{sii＝1-σi；si，i+1＝σi}；i＝-M+1{sii＝1-2σi；si，i±1＝σi}；-M+1≤i≤M{sii＝1-σi；si，i-1＝σi}；i＝M根據(jù)等式31的平滑矩陣S是3-對(duì)角矩陣。換言之，在平滑矩陣S的分量中，除了一條中心對(duì)角線和兩條彼此相應(yīng)且與中心對(duì)角線鄰近的對(duì)角線上的分量之外的分量都為0。在平滑矩陣S中，可不管距將被插值的整像素單元像素的距離(i-α)而確定平滑度σi。在此情況下，根據(jù)平滑矩陣S的平滑可被稱為均勻平滑。此外，在平滑矩陣S中，可根據(jù)整像素單元像素位置的索引l來改變平滑度σi。在此情況下，根據(jù)平滑矩陣S的平滑可被稱為非均勻平滑。例如，平滑度σi可滿足等式32。[等式32]σi＝β(i-α)1如果插值位置和整像素單元參考像素之間的距離大，則正索引l可增加平滑效果。因此，正索引l可根據(jù)插值位置和整像素單元參考像素之間的距離來控制平滑的速度。平滑參數(shù)β可控制插值位置周圍的平滑的范圍。如果平滑參數(shù)β小于0，則根據(jù)等式13的平滑矩陣S可被改變?yōu)殇J化濾波器。因此，如果小于0的平滑矩陣S與使用變換和逆變換的插值濾波器組合，則可產(chǎn)生用于放大高頻分量的濾波器。為了執(zhí)行子像素單元預(yù)測，圖像插值設(shè)備10可使用預(yù)先存儲(chǔ)在存儲(chǔ)器中的平滑插值濾波器系數(shù)數(shù)據(jù)。圖6是根據(jù)本發(fā)明的實(shí)施例的基于平滑插值濾波器的平滑參數(shù)β的平滑因子的曲線圖67。第一曲線68和第二曲線69示出用于基于離散變換對(duì)插值濾波器進(jìn)行平滑的平滑因子。如果m大，即，如果距將被插值的整像素單元像素的距離增加，則平滑因子接近0。這里，與平滑參數(shù)β大的情況下的第二曲線69相比，平滑參數(shù)β小的情況下的第一曲線68具有相對(duì)大的平滑因子的寬度。換言之，如果平滑插值濾波器的平滑參數(shù)β大，則低頻分量可被主要過濾，因此，可產(chǎn)生相對(duì)強(qiáng)的平滑子像素單元像素值。如果平滑插值濾波器的平滑參數(shù)β相對(duì)小，則相對(duì)地高頻分量可保持并被插值，因此，可產(chǎn)生子像素單元像素值。以上描述了各種插值濾波器和濾波器系數(shù)。具體地講，作為用于確定插值濾波器的濾波器系數(shù)的函數(shù)，窗函數(shù)、樣條函數(shù)、多項(xiàng)式函數(shù)等可被使用。對(duì)于插值濾波器，函數(shù)的頻率響應(yīng)可根據(jù)頻率變化，但是函數(shù)的頻率響應(yīng)的濾波器增益可接近1。因此，即使當(dāng)頻率變化時(shí)，圖像插值設(shè)備10也可通過使用頻率響應(yīng)的濾波器增益最接近1的函數(shù)來確定濾波器系數(shù)，并可選擇包括這些濾波器系數(shù)的插值濾波器。<正則化的插值濾波器>如果插值濾波器的濾波器尺寸增加，則插值的精確度可被提高。然而，如果濾波器尺寸增加，則高頻分量保持在濾波結(jié)果中，因此，插值濾波器易受噪聲影響。插值濾波器可通過使用具有插值位置α作為其中心的余弦窗函數(shù)來平滑參考像素值{pl}，從而減小插值濾波結(jié)果中的噪聲。通過使用余弦窗函數(shù)平滑參考像素值{pl}的操作滿足等式33。[等式33]N表示用于平滑的窗口尺寸，但是可以不必是整數(shù)。因此，如果根據(jù)等式7的使用變換和逆變換的濾波與根據(jù)等式33的窗口濾波組合，則能夠進(jìn)行用于子像素單元插值位置α的平滑插值濾波?？赏ㄟ^使用有限脈沖響應(yīng)(FIR)濾波器來執(zhí)行平滑插值濾波，并且平滑插值濾波滿足等式34和35。[等式34][等式35]在等式34和35中，pα表示作為平滑插值濾波結(jié)果產(chǎn)生的像素值，F(xiàn)ilterl(α)表示平滑插值濾波器的濾波器系數(shù)。Mmin和Mmax表示參考像素的范圍。在用于色度像素的平滑插值濾波器中，可調(diào)整平滑插值濾波器的平滑參數(shù)以更多地去除高頻分量的影響。使用平滑參數(shù)的色度插值濾波器的濾波器系數(shù)可被確定為等式36和37所示。[等式36]1≤k≤Size-1[等式37]圖7是根據(jù)本發(fā)明的實(shí)施例的插值濾波器的幅頻響應(yīng)曲線圖70。如果具有尺寸為1的諧波信號(hào)被輸入到插值濾波器，則插值濾波器的幅頻響應(yīng)曲線圖70可示出執(zhí)行插值濾波的結(jié)果。幅頻響應(yīng)曲線圖70示出根據(jù)本發(fā)明的實(shí)施例的使用基于基函數(shù)的DCT和IDCT的8抽頭平滑插值濾波器的第一頻率響應(yīng)71、根據(jù)本發(fā)明的實(shí)施例的正則化的8抽頭平滑插值濾波器的第二頻率響應(yīng)72以及根據(jù)H.264視頻編碼標(biāo)準(zhǔn)的6抽頭插值濾波器的第三頻率響應(yīng)73。在第一頻率響應(yīng)71至第三頻率響應(yīng)73中，山丘711、715、721和731表示信號(hào)在相應(yīng)頻率處被放大，山谷713表示信號(hào)在相應(yīng)頻率處被抑制。輸入信號(hào)被放大或被抑制的效果在插值濾波中是不合適的。在理想的幅頻響應(yīng)74中，濾波器增益在所有頻率處保持為1不變，因此，根本不存在山丘或山谷。這表示沒有發(fā)生由于插值濾波導(dǎo)致的失真。如果插值濾波器的頻率響應(yīng)接近于理想的幅頻響應(yīng)74，則插值濾波結(jié)果更加精確。與理想的幅頻響應(yīng)74相比插值濾波器的頻率響應(yīng)中的失真可被表示為插值濾波器的頻率響應(yīng)與理想的幅頻響應(yīng)74之差的平方，即，差區(qū)域的面積。例如，與理想的幅頻響應(yīng)74相比正則化的平滑插值濾波器的頻率響應(yīng)中的失真可通過調(diào)整其窗口濾波器尺寸N和其平滑度σ而被最小化。與理想的幅頻響應(yīng)74相比正則化的平滑插值濾波器的頻率響應(yīng)中的失真對(duì)應(yīng)于在幅頻響應(yīng)曲線圖70中理想的幅頻響應(yīng)74和第二頻率響應(yīng)72之間的陰影區(qū)域的面積。即，如果陰影區(qū)域的面積小，則通過使用正則化的平滑插值濾波器執(zhí)行的插值的精確度可被提高。此外，由于隨著頻率接近π，F(xiàn)IR濾波器的頻率響應(yīng)接近0，因此FIR濾波器可不產(chǎn)生高頻分量。此外，如果插值濾波器的截止水平(cutlevel)低，則插值濾波器可不恢復(fù)參考圖像的詳細(xì)信息。通常，如果濾波器的長度大，則高截止水平可被分配。在幅頻響應(yīng)曲線圖70中，由于平滑插值濾波器和正則化的平滑插值濾波器的第一頻率響應(yīng)71和第二頻率響應(yīng)72的截止水平719和729高于H.264插值濾波器的第三頻率響應(yīng)73的截止水平739，因此平滑插值濾波器和正則化的平滑插值濾波器與H.264插值濾波器相比可更加精確地恢復(fù)參考圖像的詳細(xì)信息。因此，與H.264插值濾波器相比，平滑插值濾波器可在執(zhí)行插值濾波之后剩下輸入信號(hào)的高頻分量。此外，與H.264插值濾波器相比，平滑插值濾波器的失真區(qū)域相對(duì)小，因此，插值結(jié)果中的失真相對(duì)小。從平滑插值濾波器中，正則化的平滑插值濾波器的第二頻率響應(yīng)72接近于理想的幅頻響應(yīng)74，并且未正則化的平滑插值濾波器的第一頻率響應(yīng)71具有由于山丘和山谷導(dǎo)致的相對(duì)大的失真區(qū)域。換言之，與正則化的平滑插值濾波器相比，未正則化的平滑插值濾波器的濾波結(jié)果可包括更多的不期望的偽影。因此，作為根據(jù)本發(fā)明的實(shí)施例的插值濾波器的濾波器系數(shù)，與理想的幅頻響應(yīng)74相比，用于使失真區(qū)域最小化的正則化的平滑插值濾波器的濾波器系數(shù)可被選擇。換言之，如果窗口濾波器尺寸N和平滑插值濾波器的平滑度σ被調(diào)整并且平滑插值濾波器的濾波器系數(shù)被正則化，則可確定用于使平滑插值濾波器的頻率響應(yīng)的失真區(qū)域最小化的濾波器系數(shù)。因此，圖像插值設(shè)備10的插值濾波器可包括考慮平滑所確定的濾波器系數(shù)。<相移α&運(yùn)動(dòng)矢量值>用于典型運(yùn)動(dòng)補(bǔ)償?shù)木_度是諸如1/2像素單元或1/4像素單元的1/2p像素單元的子像素單元。然而，根據(jù)本發(fā)明的實(shí)施例的用于確定子像素單元插值濾波器的濾波器系數(shù)的插值位置α不限于1/2p像素單元。為了以除了1/2像素單元或1/4像素單元之外的子像素單元對(duì)插值位置α執(zhí)行運(yùn)動(dòng)補(bǔ)償，可使用1/2像素單元或1/4像素單元運(yùn)動(dòng)矢量的部分矢量。例如，假設(shè)1/2像素單元運(yùn)動(dòng)矢量MV的子像素單元分量集為{α,1/2,1-α}。由于在α小于1/4的情況下運(yùn)動(dòng)矢量MV的編碼單元分量的長度減小，因此用于運(yùn)動(dòng)補(bǔ)償?shù)牟逯禐V波的穩(wěn)定性可被提高，并且可節(jié)省差分運(yùn)動(dòng)矢量的編碼比特。在視頻編碼中最通用的顏色格式是4:2:0格式。在此情況下，與亮度樣本的數(shù)量的一半相應(yīng)的色度樣本可被編碼。如果相同的運(yùn)動(dòng)矢量在亮度樣本和色度樣本之間共享，則色度運(yùn)動(dòng)矢量的尺寸是亮度運(yùn)動(dòng)矢量的尺寸的一半。因此，亮度插值濾波器的相移可與色度插值濾波器的相移同步。例如，如果亮度插值濾波器的相移是{αi}，則色度插值濾波器的相移可被同步到{αi/2}∪{1-αi/2}∪{1/2}。例如，當(dāng)通過使用運(yùn)動(dòng)矢量MV的子像素單元分量集執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)，如果亮度插值濾波器的相移是{α,1/2,1-α}，則色度插值濾波器的相移可被同步到{α/2,(1-α)/2,1/2,1-α/2,1-(1-α)/2}。作為根據(jù)本發(fā)明的實(shí)施例的插值濾波器，以上描述了使用基于多個(gè)基函數(shù)的變換和逆變換的插值濾波器、用于以子像素單元執(zhí)行插值的插值濾波器、對(duì)稱或非對(duì)稱插值濾波器、奇數(shù)或偶數(shù)抽頭插值濾波器、使用窗口濾波器的插值濾波器、考慮平滑的插值濾波器和正則化的插值濾波器。上面提到的插值濾波器可分開操作或者可被組合。例如，根據(jù)本發(fā)明的實(shí)施例的插值濾波器可以以子像素單元執(zhí)行插值，并可不管參考像素相對(duì)于插值位置是對(duì)稱設(shè)置還是非對(duì)稱設(shè)置來執(zhí)行插值濾波。此外，由于濾波器系數(shù)的數(shù)量可以是偶數(shù)或奇數(shù)，因此插值濾波器可對(duì)奇數(shù)個(gè)整像素單元像素以及偶數(shù)個(gè)整像素單元像素執(zhí)行插值濾波。此外，由于正則化的平滑插值濾波器的濾波器系數(shù)可被選擇，因此參考像素的詳細(xì)信息可保持，并且諸如噪聲的不期望的高頻分量可被最小化，從而使由于插值濾波導(dǎo)致的失真最小化。圖8是根據(jù)本發(fā)明的實(shí)施例的圖像插值方法的流程圖。在操作81，從用于產(chǎn)生位于畫面的整像素單元之間的至少一個(gè)子像素單元像素值的插值濾波器中，根據(jù)子像素單元插值位置分別選擇對(duì)稱或非對(duì)稱插值濾波器。所選擇的非對(duì)稱插值濾波器可以是奇數(shù)抽頭插值濾波器。所選擇的對(duì)稱插值濾波器可以是偶數(shù)抽頭插值濾波器。為了對(duì)空域中的整像素單元像素進(jìn)行插值，插值濾波器可包括通過將使用基于多個(gè)基函數(shù)的變換和逆變換的濾波器和非對(duì)稱或?qū)ΨQ窗口濾波器進(jìn)行組合所獲得的濾波器系數(shù)。被正則化的使作為當(dāng)使用所選擇的插值濾波器時(shí)的插值結(jié)果產(chǎn)生的頻率響應(yīng)誤差最小化的插值濾波器被選擇。此外，為了防止諸如噪聲的高頻分量被恢復(fù)，可選擇包括用于平滑參考像素的濾波器系數(shù)的插值濾波器。在操作83，通過使用在操作81選擇的插值濾波器對(duì)整像素單元像素值進(jìn)行插值，從而產(chǎn)生至少一個(gè)子像素單元像素值。如果在操作81非對(duì)稱插值濾波器被選擇，則在操作83，可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的整像素單元像素執(zhí)行濾波。如果在操作81對(duì)稱插值濾波器被選擇，則在操作83，可對(duì)相對(duì)于插值位置對(duì)稱設(shè)置的整像素單元像素執(zhí)行濾波。此外，如果在操作81非對(duì)稱奇數(shù)抽頭插值濾波器被選擇，則在操作83，可通過使用非對(duì)稱奇數(shù)抽頭插值濾波器的奇數(shù)個(gè)濾波器系數(shù)對(duì)相對(duì)于插值位置設(shè)置的奇數(shù)個(gè)整像素單元像素執(zhí)行濾波。如果在操作81對(duì)稱偶數(shù)抽頭插值濾波器被選擇，則在操作83，可通過使用對(duì)稱偶數(shù)抽頭插值濾波器的偶數(shù)個(gè)濾波器系數(shù)對(duì)相對(duì)于插值位置設(shè)置的偶數(shù)個(gè)整像素單元像素執(zhí)行濾波?，F(xiàn)在將參照圖9A至圖12B描述根據(jù)子像素單元插值位置選擇性地確定的對(duì)稱或非對(duì)稱插值濾波器的濾波器系數(shù)的各種示例。根據(jù)上述原理，圖9A至圖12B中示出的插值濾波器是通過將使用基于多個(gè)基函數(shù)的變換和逆變換的子像素單元插值濾波器和用于平滑高頻分量的窗口濾波器進(jìn)行組合所獲得的濾波器，并且包括窗口尺寸和平滑度被調(diào)整以使插值結(jié)果中的失真最小化的濾波器系數(shù)。此外，下面將描述各種對(duì)稱和非對(duì)稱插值濾波器以及奇數(shù)抽頭和偶數(shù)抽頭插值濾波器。由于插值濾波器是鏡面反射對(duì)稱濾波器，因此可通過使用插值位置α的濾波器系數(shù)fm(α)來確定插值位置(1-α)的濾波器系數(shù)fm(1-α)。因此，在圖9A至圖12B示出的表格中，雖然僅示出了在運(yùn)動(dòng)矢量MV的子像素單元等于或小于1/2的情況下的插值濾波器系數(shù){fm(α)}，但是本領(lǐng)域的普通技術(shù)人員將理解，可確定在運(yùn)動(dòng)矢量MV的子像素單元大于1/2的情況下的其他插值濾波器系數(shù){fm(α)}。首先，在圖9A至圖11C中示出的表格中，第一列中的“FracMV”表示用于1/2p像素單元運(yùn)動(dòng)補(bǔ)償?shù)倪\(yùn)動(dòng)矢量MV的子像素單元。為了執(zhí)行子像素單元插值濾波，“FracMV”的值可與第二列中的濾波器系數(shù)組合。第三列中的插值位置α是用于定義子像素單元插值位置的參數(shù)，并可表示從整像素單元起的相移量。第四列中的窗口濾波器尺寸N可以不必是整數(shù)。插值濾波器的縮放比特是6比特。圖9A至圖9D分別示出根據(jù)本發(fā)明的實(shí)施例的基于插值位置和窗口濾波器尺寸確定的3抽頭至6抽頭插值濾波器的濾波器系數(shù)。圖9A示出作為3抽頭插值濾波器并包括濾波器系數(shù){p-1,p0,p1}的非對(duì)稱插值濾波器。因此，圖9A中示出的插值濾波器可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的整像素單元像素執(zhí)行插值濾波。例如，如果執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置的兩個(gè)左整像素單元參考像素和一個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖9B示出作為4抽頭插值濾波器并包括濾波器系數(shù){p-1,p0,p1,p2}的對(duì)稱插值濾波器。因此，圖9B中示出的插值濾波器可對(duì)相對(duì)于插值位置對(duì)稱設(shè)置的整像素單元像素執(zhí)行插值濾波。例如，如果執(zhí)行水平插值，則可通過使用相對(duì)于插值位置的兩個(gè)左整像素單元參考像素和兩個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖9C示出作為5抽頭插值濾波器并包括濾波器系數(shù){p-1,p0,p1,p2,p3}的非對(duì)稱插值濾波器。因此，如果執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的兩個(gè)左整像素單元參考像素和三個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖9D示出作為6抽頭插值濾波器并包括濾波器系數(shù){p-2,p-1,p0,p1,p2,p3}的對(duì)稱插值濾波器。因此，如果執(zhí)行水平插值，則可通過使用相對(duì)于插值位置對(duì)稱設(shè)置的三個(gè)左整像素單元參考像素和三個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖10A至圖10C分別示出根據(jù)本發(fā)明的實(shí)施例的基于插值位置和窗口濾波器尺寸確定的7抽頭插值濾波器的濾波器系數(shù)。圖10A示出包括濾波器系數(shù){p-3,p-2,p-1,p0,p1,p2,p3}的非對(duì)稱插值濾波器。因此，如果通過使用圖10A中示出的插值濾波器執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的四個(gè)左整像素單元參考像素和三個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖10B示出包括濾波器系數(shù){p-2,p-1,p0,p1,p2,p3,p4}的非對(duì)稱插值濾波器。因此，如果通過使用圖10B中示出的插值濾波器執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的三個(gè)左整像素單元參考像素和四個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖10C示出包括濾波器系數(shù){p-1,p0,p1,p2,p3,p4,p5}的非對(duì)稱插值濾波器。因此，如果通過使用圖10C中示出的插值濾波器執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的兩個(gè)左整像素單元參考像素和五個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖11A至圖11C分別示出根據(jù)本發(fā)明的實(shí)施例的基于插值位置和窗口濾波器尺寸確定的8抽頭插值濾波器的濾波器系數(shù)。圖11A示出包括濾波器系數(shù){p-3,p-2,p-1,p0,p1,p2,p3,p4}的對(duì)稱插值濾波器。因此，如果通過使用圖11A中示出的插值濾波器執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置對(duì)稱設(shè)置的四個(gè)左整像素單元參考像素和四個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖11B示出包括濾波器系數(shù){p-2,p-1,p0,p1,p2,p3,p4,p5}的非對(duì)稱插值濾波器。因此，如果通過使用圖11B中示出的插值濾波器執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的三個(gè)左整像素單元參考像素和五個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖11C示出包括濾波器系數(shù){p-4,p-3,p-2,p-1,p0,p1,p2,p3}的非對(duì)稱插值濾波器。因此，如果通過使用圖11C中示出的插值濾波器執(zhí)行水平插值，則可對(duì)相對(duì)于插值位置非對(duì)稱設(shè)置的五個(gè)左整像素單元參考像素和三個(gè)右整像素單元參考像素執(zhí)行插值濾波。圖12A和圖12B分別示出根據(jù)本發(fā)明的實(shí)施例的正則化的亮度插值濾波器和正則化的色度插值濾波器的濾波器系數(shù)。圖12A和圖12B示出所選擇的如以上在<正則化的插值濾波器>中所描述的使失真區(qū)域最小化的正則化的插值濾波器的濾波器系數(shù)。根據(jù)圖12A，調(diào)整窗口濾波器尺寸N以對(duì)亮度插值濾波器進(jìn)行正則化。從圖9A至圖11C中示出的各種插值濾波器中，具有8.7的窗口尺寸的7抽頭插值濾波器{-1,4,-10,58,17,-5,-1}可被選擇為用于執(zhí)行1/4像素單元插值濾波的正則化的亮度插值濾波器。此外，具有9.5的窗口尺寸的8抽頭插值濾波器{-1,4,-11,40,40,-11,4,-1}可被選擇為用于執(zhí)行1/2像素單元插值濾波的正則化的亮度插值濾波器。換言之，非對(duì)稱插值濾波器可被選擇為正則化的1/4像素單元亮度插值濾波器，對(duì)稱插值濾波器可被選擇為正則化的1/2像素單元亮度插值濾波器。根據(jù)圖12B，調(diào)整平滑度σ以對(duì)色度插值濾波器進(jìn)行正則化。1/8像素單元4抽頭對(duì)稱插值濾波器可被選擇為正則化的色度插值濾波器。下面參照圖13A至圖27描述根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的視頻編碼和解碼。下面參照圖15至圖25描述根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的視頻編碼和解碼。下面參照圖26和圖27描述根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的視頻編碼和解碼方法。當(dāng)對(duì)圖像數(shù)據(jù)執(zhí)行各種操作時(shí)，可將圖像數(shù)據(jù)劃分為數(shù)據(jù)組，并且可對(duì)相同數(shù)據(jù)組的數(shù)據(jù)執(zhí)行相同操作。在下面的描述中，根據(jù)預(yù)定標(biāo)準(zhǔn)形成的數(shù)據(jù)組被稱為“數(shù)據(jù)單元”，并且通過使用包括在數(shù)據(jù)單元中的數(shù)據(jù)來對(duì)每個(gè)“數(shù)據(jù)單元”執(zhí)行操作。<使用插值濾波器的視頻編碼和解碼>圖13A是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的視頻編碼設(shè)備100的框圖。視頻編碼設(shè)備100的編碼器120和輸出單元130的操作可由視頻編碼處理器、CPU和圖形處理器協(xié)同控制。為了對(duì)輸入視頻的當(dāng)前畫面進(jìn)行編碼，視頻編碼設(shè)備100將當(dāng)前畫面劃分為具有預(yù)定尺寸的數(shù)據(jù)單元，并對(duì)每個(gè)數(shù)據(jù)單元進(jìn)行編碼。例如，當(dāng)前畫面包括空域中的像素。為了同時(shí)對(duì)當(dāng)前畫面的在空間上鄰近的像素進(jìn)行編碼，可以以如下方式將當(dāng)前畫面劃分為具有預(yù)定尺寸的像素組：在預(yù)定范圍內(nèi)的鄰近像素形成一個(gè)組。通過對(duì)劃分的像素組的像素執(zhí)行一系列編碼操作，當(dāng)前畫面可被編碼。由于將被編碼的畫面的初始數(shù)據(jù)是空域中的像素值，因此每個(gè)像素組可被用作將被編碼的數(shù)據(jù)單元。此外，當(dāng)通過對(duì)空域中的像素組的像素值執(zhí)行用于視頻編碼的變換而產(chǎn)生變換域中的變換系數(shù)時(shí)，變換系數(shù)被包括在具有與空域中的像素組相同尺寸的系數(shù)組中。因此，變換域中的變換系數(shù)的系數(shù)組也可被用作用于對(duì)畫面進(jìn)行編碼的數(shù)據(jù)單元。因此，在空域和變換域中，具有預(yù)定尺寸的數(shù)據(jù)組可被用作將被編碼的數(shù)據(jù)單元。在此情況下，數(shù)據(jù)單元的尺寸可被定義為包括在數(shù)據(jù)單元中的數(shù)據(jù)的數(shù)量。例如，空域中的像素的數(shù)量或者變換域中的變換系數(shù)的數(shù)量可表示數(shù)據(jù)單元的尺寸?？舍槍?duì)當(dāng)前將被編碼的視頻的數(shù)據(jù)單元、條帶、畫面和畫面序列中的任何數(shù)據(jù)級(jí)別的每個(gè)數(shù)據(jù)組來確定當(dāng)前數(shù)據(jù)單元的編碼方法或編碼特性。視頻編碼設(shè)備100可通過對(duì)每個(gè)數(shù)據(jù)單元執(zhí)行包括幀間預(yù)測和幀內(nèi)預(yù)測的預(yù)測編碼、變換、量化和熵編碼來對(duì)當(dāng)前畫面進(jìn)行編碼。根據(jù)幀間預(yù)測，為了參考時(shí)間上的前一畫面或下一畫面的像素值來估計(jì)當(dāng)前像素值，可確定參考畫面的參考區(qū)域的像素值與當(dāng)前畫面的像素值之間的殘差數(shù)據(jù)以及指示參考的像素值的參考數(shù)據(jù)。為了更加精確地執(zhí)行幀間預(yù)測，視頻編碼設(shè)備100可通過使用子像素單元像素值確定殘差數(shù)據(jù)和參考數(shù)據(jù)。為了執(zhí)行子像素單元幀間預(yù)測，視頻編碼設(shè)備100可通過對(duì)鄰近的整像素單元像素進(jìn)行插值來確定位于鄰近的整像素單元像素之間的子像素單元像素值。此外，可通過對(duì)包括鄰近的整像素單元像素的兩個(gè)或更多個(gè)整像素單元參考像素執(zhí)行插值濾波來產(chǎn)生子像素單元像素值。用于執(zhí)行插值濾波的參考像素可以是參考畫面的像素。為了有效地執(zhí)行圖像插值，視頻編碼設(shè)備100可選擇性地確定插值濾波器系數(shù)。編碼器120可包括圖1中示出的圖像插值設(shè)備10。換言之，為了執(zhí)行子像素單元幀間預(yù)測，編碼器120可通過使用包括由圖像插值設(shè)備10基于變換和逆變換確定的濾波器系數(shù)的插值濾波器來產(chǎn)生子像素單元像素值。為了有效地執(zhí)行插值濾波，視頻編碼設(shè)備100可將插值濾波器系數(shù)預(yù)先存儲(chǔ)在存儲(chǔ)器中。根據(jù)插值位置、平滑度、濾波器抽頭的數(shù)量、比特深度、縮放比例、基于變換的插值濾波的基函數(shù)、窗函數(shù)和窗口尺寸，各種插值濾波器系數(shù)可被存儲(chǔ)在視頻編碼設(shè)備100的存儲(chǔ)器中。例如，i)包括7抽頭濾波器系數(shù){-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素單元插值濾波器以及ii)包括8抽頭濾波器系數(shù){-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素單元插值濾波器可被存儲(chǔ)在存儲(chǔ)器中，并可被用于執(zhí)行插值濾波。除了上面提到的插值濾波器系數(shù)之外，可根據(jù)如圖9A至圖12B中所示的各種基函數(shù)和窗函數(shù)修改的插值濾波器系數(shù)可被用于執(zhí)行插值濾波。如果通過使用存儲(chǔ)在存儲(chǔ)器中的濾波器系數(shù)執(zhí)行插值濾波，則幀間預(yù)測的計(jì)算速度可被提高。從多個(gè)插值濾波器中，編碼器120可選擇并使用對(duì)稱或非對(duì)稱插值濾波器以根據(jù)子像素單元插值位置α執(zhí)行幀間預(yù)測。此外，可根據(jù)濾波器抽頭的數(shù)量、比特深度、縮放比例、窗口濾波器尺寸、平滑度等確定適合于當(dāng)前像素的插值濾波器。編碼器120可根據(jù)圖像特性確定插值濾波器。例如，編碼器120可根據(jù)像素的顏色分量確定不同的插值濾波器。例如，可分開選擇用于亮度像素的插值濾波器和用于色度像素的插值濾波器，因此，可通過執(zhí)行插值濾波分別產(chǎn)生子像素單元像素值。可通過基于子像素單元插值、幀內(nèi)預(yù)測、變換和量化執(zhí)行幀間預(yù)測來對(duì)視頻進(jìn)行編碼。輸出單元130可對(duì)編碼信息進(jìn)行編碼并輸出編碼信息，并且可輸出編碼的畫面數(shù)據(jù)。作為編碼信息，關(guān)于選擇的插值濾波器的信息可被另外編碼。換言之，關(guān)于用于執(zhí)行子像素單元預(yù)測編碼的插值濾波器的信息可被編碼。例如，解碼器必須知道用于對(duì)圖像進(jìn)行編碼的插值濾波器的情況，以通過使用在編碼處理中使用的相同的插值濾波器對(duì)圖像進(jìn)行解碼。為此，指示使用的插值濾波器的信息可與圖像一起被編碼。然而，如果濾波器基于先前的編碼結(jié)果(即，上下文)被選擇，則關(guān)于選擇的濾波器的信息可以不被另外編碼。輸出單元130可對(duì)編碼信息和編碼的畫面數(shù)據(jù)執(zhí)行熵編碼，并可輸出比特流。圖13B是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的視頻解碼設(shè)備200的框圖。視頻解碼設(shè)備200包括接收器和提取器220以及解碼器230。視頻解碼設(shè)備200的接收器和提取器220以及解碼器230的操作可由視頻解碼處理器、圖形處理器和CPU協(xié)同控制。為了從比特流恢復(fù)圖像，視頻解碼設(shè)備200可通過執(zhí)行包括熵解碼、反量化、逆變換、幀間預(yù)測/補(bǔ)償和幀內(nèi)預(yù)測/補(bǔ)償?shù)牟僮鱽韺?duì)比特流的編碼的畫面數(shù)據(jù)進(jìn)行解碼。接收器和提取器220接收并解析編碼視頻的比特流。接收器和提取器220可從解析的比特流提取當(dāng)前畫面的每個(gè)數(shù)據(jù)單元的編碼數(shù)據(jù)以及包括關(guān)于將被用于對(duì)編碼數(shù)據(jù)進(jìn)行解碼的編碼方法的信息的編碼信息。如果編碼信息包括插值濾波器信息，則解碼器230可從插值濾波器信息讀取關(guān)于用于執(zhí)行子像素單元幀內(nèi)預(yù)測的插值濾波器的信息，并可通過使用在編碼處理中使用的插值濾波器來執(zhí)行運(yùn)動(dòng)補(bǔ)償。解碼器230可通過根據(jù)基于關(guān)于編碼模式的信息確定的各種解碼方法對(duì)編碼的畫面執(zhí)行諸如熵解碼、反量化、逆變換、幀間預(yù)測/補(bǔ)償和幀內(nèi)預(yù)測/補(bǔ)償?shù)母鞣N解碼操作來對(duì)編碼的畫面數(shù)據(jù)進(jìn)行解碼。為了執(zhí)行運(yùn)動(dòng)補(bǔ)償，可通過使用參考數(shù)據(jù)確定在時(shí)間上位于當(dāng)前畫面前面或后面的參考畫面的參考區(qū)域，并且可將參考區(qū)域的像素值和殘差數(shù)據(jù)進(jìn)行組合以恢復(fù)當(dāng)前像素值。如果殘差數(shù)據(jù)和參考數(shù)據(jù)基于在編碼處理中以子像素單元插值的像素而被確定，則解碼器230還可基于以子像素單元插值的像素來執(zhí)行運(yùn)動(dòng)補(bǔ)償。為了執(zhí)行子像素單元運(yùn)動(dòng)補(bǔ)償，解碼器230可通過對(duì)參考畫面的鄰近的整像素單元像素進(jìn)行插值來產(chǎn)生子像素單元像素值?？赏ㄟ^對(duì)包括鄰近的整像素單元像素的兩個(gè)或更多個(gè)整像素單元參考像素執(zhí)行插值濾波來產(chǎn)生子像素單元像素值。為了有效地執(zhí)行圖像插值，視頻解碼設(shè)備200可選擇性地確定插值濾波器系數(shù)。解碼器230可包括圖1中示出的圖像插值設(shè)備10。換言之，為了執(zhí)行子像素單元運(yùn)動(dòng)補(bǔ)償，解碼器230可通過使用基于變換的插值濾波器來產(chǎn)生子像素單元像素值。為了有效地執(zhí)行插值濾波，視頻解碼設(shè)備200可根據(jù)插值位置、平滑度、濾波器抽頭的數(shù)量、比特深度、縮放比例和基于變換的插值濾波的基函數(shù)將各種可選的插值濾波器系數(shù)預(yù)先存儲(chǔ)在存儲(chǔ)器中。如上所述，例如，i)包括7抽頭濾波器系數(shù){-1,4,-10,58,17,-5,1}并具有8.7的窗口尺寸的1/4像素單元插值濾波器和ii)包括8抽頭濾波器系數(shù){-1,4,-11,40,40,-11,4,-1}并具有9.5的窗口尺寸的1/2像素單元插值濾波器中的至少一個(gè)可被存儲(chǔ)在存儲(chǔ)器中，并可被用于執(zhí)行插值濾波。除了上面提到的插值濾波器系數(shù)之外，根據(jù)如圖9A至圖12B中所示的各種基函數(shù)和窗函數(shù)可修改的插值濾波器系數(shù)也可被用于執(zhí)行插值濾波。從多個(gè)插值濾波器中，解碼器230可選擇并使用適合于當(dāng)前像素的插值濾波器，以根據(jù)子像素單元插值位置α、濾波器抽頭的數(shù)量、比特深度、縮放比例等執(zhí)行子像素單元運(yùn)動(dòng)補(bǔ)償。此外，解碼器230可根據(jù)圖像特性確定插值濾波器。例如，可根據(jù)像素的顏色分量確定不同的插值濾波器，可分開執(zhí)行用于亮度像素的插值濾波和用于色度像素的插值濾波，因此，可分別產(chǎn)生插值的子像素單元像素值。因此，解碼器230可通過執(zhí)行反量化/逆變換來恢復(fù)空域中的數(shù)據(jù)，并可通過基于子像素單元插值以及整像素單元插值執(zhí)行幀內(nèi)預(yù)測和運(yùn)動(dòng)補(bǔ)償來恢復(fù)像素值和當(dāng)前畫面。如果畫面被恢復(fù)，則視頻可被解碼。圖14A是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的圖像編碼方法的流程圖。在操作1410，為了對(duì)輸入視頻的當(dāng)前畫面進(jìn)行編碼，執(zhí)行使用子像素單元插值的預(yù)測編碼。從用于產(chǎn)生子像素單元像素值的插值濾波器中，基于子像素單元插值位置和平滑度不同地選擇插值濾波器?？苫诓逯滴恢煤驼袼貑卧g的距離來確定插值濾波器的平滑度?？赏ㄟ^對(duì)參考畫面的兩個(gè)或更多個(gè)整像素單元參考像素執(zhí)行插值濾波來產(chǎn)生子像素單元像素值。通過使用所產(chǎn)生的子像素單元像素值確定殘差數(shù)據(jù)和參考數(shù)據(jù)，從而執(zhí)行預(yù)測編碼。為了有效地執(zhí)行圖像插值，可選擇性地確定插值濾波器系數(shù)。存儲(chǔ)器可存儲(chǔ)對(duì)稱插值濾波器和非對(duì)稱插值濾波器、奇數(shù)抽頭插值濾波器和偶數(shù)抽頭插值濾波器以及正則化的插值濾波器的插值濾波器系數(shù)。從預(yù)先存儲(chǔ)在存儲(chǔ)器中的插值濾波器系數(shù)中，可根據(jù)子像素單元插值位置、平滑度、濾波器抽頭的數(shù)量、比特深度、縮放比例、基于變換的插值濾波的基函數(shù)、窗口濾波器尺寸和顏色分量來選擇期望的插值濾波器，并且可執(zhí)行插值以產(chǎn)生子像素單元像素值。在操作1420，對(duì)基于子像素單元插值和幀內(nèi)預(yù)測的幀間預(yù)測結(jié)果執(zhí)行變換和量化。在操作1430，可通過以量化的變換系數(shù)的形式對(duì)編碼信息和編碼的畫面數(shù)據(jù)執(zhí)行熵編碼來輸出比特流。編碼信息可包括關(guān)于用于執(zhí)行子像素單元預(yù)測編碼的插值濾波器的信息。圖14B是根據(jù)本發(fā)明的實(shí)施例的使用插值濾波器的圖像解碼方法的流程圖。在操作1450，編碼視頻的比特流被接收，被熵解碼，并被解析以從比特流提取當(dāng)前畫面的量化的變換系數(shù)和編碼信息。如果編碼信息包括關(guān)于插值濾波器的信息，則可從該信息讀取所需的插值濾波器的類型。在操作1460，根據(jù)基于從編碼信息讀取的編碼模式確定的各種解碼方法，對(duì)量化的變換系數(shù)執(zhí)行反量化和逆變換，添加殘差數(shù)據(jù)，從而恢復(fù)空域中的數(shù)據(jù)。在操作1470，可通過基于編碼模式執(zhí)行諸如運(yùn)動(dòng)補(bǔ)償和幀內(nèi)預(yù)測的各種解碼操作來對(duì)編碼的畫面數(shù)據(jù)進(jìn)行解碼。具體地講，如果編碼的殘差數(shù)據(jù)和參考數(shù)據(jù)基于以子像素單元插值的像素而被提取，則可基于以子像素單元插值的像素執(zhí)行運(yùn)動(dòng)補(bǔ)償。從用于產(chǎn)生子像素單元像素值的插值濾波器中，基于子像素單元插值位置和平滑度不同地選擇插值濾波器。為了有效地執(zhí)行圖像插值，可選擇性地確定插值濾波器系數(shù)。存儲(chǔ)器可存儲(chǔ)對(duì)稱插值濾波器和非對(duì)稱插值濾波器、奇數(shù)抽頭插值濾波器和偶數(shù)抽頭插值濾波器以及正則化的插值濾波器的插值濾波器系數(shù)。從預(yù)先存儲(chǔ)在存儲(chǔ)器中的插值濾波器系數(shù)中，可根據(jù)子像素單元插值位置、平滑度、濾波器抽頭的數(shù)量、比特深度、縮放比例、基于變換的插值濾波的基函數(shù)、窗口濾波器尺寸和顏色分量來選擇期望的插值濾波器，并且可執(zhí)行插值以產(chǎn)生子像素單元像素值。由于對(duì)通過使用預(yù)先存儲(chǔ)在存儲(chǔ)器中的插值濾波器系數(shù)被插值的像素執(zhí)行運(yùn)動(dòng)補(bǔ)償，因此可提高計(jì)算速度。存儲(chǔ)器可存儲(chǔ)對(duì)稱插值濾波器和非對(duì)稱插值濾波器以及奇數(shù)抽頭插值濾波器和偶數(shù)抽頭插值濾波器。通過使用參考數(shù)據(jù)確定參考畫面和參考區(qū)域，并且可通過對(duì)參考畫面的兩個(gè)或更多個(gè)整像素單元參考像素執(zhí)行插值濾波來產(chǎn)生子像素單元像素值?？赏ㄟ^將產(chǎn)生的子像素單元像素值和殘差數(shù)據(jù)進(jìn)行組合來執(zhí)行運(yùn)動(dòng)補(bǔ)償，因此，可執(zhí)行預(yù)測解碼。在操作1480，通過使用執(zhí)行預(yù)測解碼所獲得的像素值來恢復(fù)當(dāng)前畫面，從而視頻被解碼。<基于具有樹結(jié)構(gòu)的編碼單元使用插值的視頻編碼和解碼>現(xiàn)在將參照圖13至圖27詳細(xì)地描述根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元使用插值濾波器的視頻編碼和解碼設(shè)備以及與視頻編碼和解碼設(shè)備相應(yīng)的視頻編碼和解碼方法。視頻編碼設(shè)備100可基于具有樹結(jié)構(gòu)的編碼單元和變換單元來對(duì)視頻進(jìn)行編碼?？苫诋?dāng)前畫面的最大編碼單元對(duì)視頻的當(dāng)前畫面進(jìn)行劃分。如果當(dāng)前畫面大于最大編碼單元，則當(dāng)前畫面的圖像數(shù)據(jù)可被劃分為至少一個(gè)最大編碼單元。最大編碼單元可以是具有32×32、64×64、128×128、256×256等尺寸的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和長度均為2的若干次方的正方形。編碼器120可對(duì)至少一個(gè)最大編碼單元中的每一個(gè)的畫面數(shù)據(jù)進(jìn)行編碼。根據(jù)本發(fā)明的實(shí)施例的編碼單元可以由最大尺寸和深度來表征。深度表示編碼單元在空間上從最大編碼單元被劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的更深的編碼單元可從最大編碼單元被劃分為最小編碼單元。最大編碼單元的深度是最高深度，最小編碼單元的深度是最低深度。由于與每個(gè)深度相應(yīng)的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此與上級(jí)深度相應(yīng)的編碼單元可包括與下級(jí)深度相應(yīng)的多個(gè)編碼單元。如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單元，并且每個(gè)最大編碼單元可包括根據(jù)深度被劃分的更深的編碼單元。由于根據(jù)本發(fā)明的實(shí)施例的最大編碼單元根據(jù)深度被劃分，因此包括在最大編碼單元中的空域的圖像數(shù)據(jù)可根據(jù)深度被分層分類。限制最大編碼單元的高度和寬度被分層劃分的總次數(shù)的編碼單元的最大深度和最大尺寸可以被預(yù)先確定。編碼器120對(duì)通過根據(jù)深度劃分最大編碼單元的區(qū)域所獲得的至少一個(gè)劃分區(qū)域進(jìn)行編碼，并根據(jù)所述至少一個(gè)劃分區(qū)域確定用于最終輸出編碼的圖像數(shù)據(jù)的深度。換言之，編碼器120通過根據(jù)當(dāng)前畫面的最大編碼單元對(duì)根據(jù)深度的更深的編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼并選擇具有最小編碼誤差的深度來確定編碼深度。編碼器120可輸出與確定的編碼深度相應(yīng)的編碼單元的編碼的圖像數(shù)據(jù)。此外，編碼器120可將關(guān)于確定的編碼深度的信息發(fā)送到輸出單元130，使得關(guān)于編碼深度的信息可被編碼為編碼信息?；谂c等于或低于最大深度的至少一個(gè)深度相應(yīng)的更深的編碼單元對(duì)最大編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼，并且基于每個(gè)更深的編碼單元比較對(duì)圖像數(shù)據(jù)進(jìn)行編碼的結(jié)果。在比較更深的編碼單元的編碼誤差之后，可選擇具有最小編碼誤差的深度?？舍槍?duì)每個(gè)最大編碼單元選擇至少一個(gè)編碼深度。隨著編碼單元根據(jù)深度被分層劃分，并且隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被劃分。此外，即使編碼單元在一個(gè)最大編碼單元中對(duì)應(yīng)于相同深度，也通過分別測量每個(gè)編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與該相同深度相應(yīng)的編碼單元中的每一個(gè)劃分到更低的深度。因此，即使當(dāng)圖像數(shù)據(jù)被包括在一個(gè)最大編碼單元中時(shí)，圖像數(shù)據(jù)也被劃分為根據(jù)深度的區(qū)域，并且編碼誤差可根據(jù)所述一個(gè)最大編碼單元中的區(qū)域而不同，因此，編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，可在一個(gè)最大編碼單元中確定一個(gè)或更多個(gè)編碼深度，并且可根據(jù)至少一個(gè)編碼深度的編碼單元?jiǎng)澐肿畲缶幋a單元的圖像數(shù)據(jù)。因此，編碼器120可確定包括在最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元。根據(jù)本發(fā)明的實(shí)施例的“具有樹結(jié)構(gòu)的編碼單元”包括包含在最大編碼單元中的所有更深的編碼單元中的與被確定為編碼深度的深度相應(yīng)的編碼單元。編碼深度的編碼單元可在最大編碼單元的相同區(qū)域中根據(jù)深度被分層確定，并且可在不同區(qū)域中被獨(dú)立地確定。類似地，當(dāng)前區(qū)域中的編碼深度可獨(dú)立于另一區(qū)域中的編碼深度而被確定。根據(jù)本發(fā)明的實(shí)施例的最大深度是與從最大編碼單元到最小編碼單元執(zhí)行劃分的次數(shù)相關(guān)的索引。根據(jù)本發(fā)明的實(shí)施例的第一最大深度可表示從最大編碼單元到最小編碼單元執(zhí)行劃分的總次數(shù)。根據(jù)本發(fā)明的實(shí)施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度級(jí)的總數(shù)。例如，當(dāng)最大編碼單元的深度是0時(shí)，最大編碼單元被劃分一次的編碼單元的深度可被設(shè)置為1，最大編碼單元被劃分兩次的編碼單元的深度可被設(shè)置為2。這里，如果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存在深度為0、1、2、3和4的5個(gè)深度級(jí)，因此，第一最大深度可被設(shè)置為4，第二最大深度可被設(shè)置為5?？筛鶕?jù)最大編碼單元執(zhí)行預(yù)測編碼和變換。根據(jù)最大編碼單元，還基于根據(jù)等于最大深度的深度或小于最大深度的深度的更深的編碼單元執(zhí)行預(yù)測編碼和變換。由于每當(dāng)最大編碼單元根據(jù)深度被劃分時(shí)更深的編碼單元的數(shù)量增加，因此對(duì)隨著深度加深產(chǎn)生的所有更深的編碼單元執(zhí)行包括預(yù)測編碼和變換的編碼。為了便于描述，現(xiàn)在將基于最大編碼單元中的當(dāng)前深度的編碼單元描述預(yù)測編碼和變換。視頻編碼設(shè)備100可不同地選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對(duì)圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測編碼、變換和熵編碼的操作，此時(shí)，可針對(duì)所有操作使用相同的數(shù)據(jù)單元，或者可針對(duì)每個(gè)操作使用不同的數(shù)據(jù)單元。例如，視頻編碼設(shè)備100可不僅選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，而且選擇與編碼單元不同的數(shù)據(jù)單元，以對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測編碼。為了在最大編碼單元中執(zhí)行預(yù)測編碼，可基于與編碼深度相應(yīng)的編碼單元，即，基于不再被劃分為與更低深度相應(yīng)的編碼單元的編碼單元，執(zhí)行預(yù)測編碼。下文中，不再被劃分并且變?yōu)橛糜陬A(yù)測編碼的基本單元的編碼單元現(xiàn)在將被稱為“預(yù)測單元”。通過劃分預(yù)測單元所獲得的分區(qū)可包括通過劃分預(yù)測單元的高度和寬度中的至少一個(gè)所獲得的預(yù)測單元或數(shù)據(jù)單元。例如，當(dāng)2N×2N(其中，N是正整數(shù))的編碼單元不再被劃分并且變?yōu)?N×2N的預(yù)測單元時(shí)，分區(qū)的尺寸可以是2N×2N、2N×N、N×2N或N×N。分區(qū)類型的示例包括通過對(duì)稱地劃分預(yù)測單元的高度或?qū)挾人@得的對(duì)稱分區(qū)、通過非對(duì)稱地劃分預(yù)測單元的高度或?qū)挾?諸如1:n或n:1)所獲得的分區(qū)、通過在幾何上劃分預(yù)測單元所獲得的分區(qū)以及具有任意形狀的分區(qū)。預(yù)測單元的預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一種。例如，可對(duì)2N×2N、2N×N、N×2N或N×N的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。此外，可僅對(duì)2N×2N的分區(qū)執(zhí)行跳過模式。在編碼單元中對(duì)一個(gè)預(yù)測單元獨(dú)立地執(zhí)行編碼，從而選擇具有最小編碼誤差的預(yù)測模式。視頻編碼設(shè)備100還可不僅基于用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元而且基于與編碼單元不同的數(shù)據(jù)單元來對(duì)編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元來執(zhí)行變換。例如，用于變換的變換單元可包括用于幀內(nèi)模式的數(shù)據(jù)單元和用于幀間模式的數(shù)據(jù)單元。與編碼單元類似地，編碼單元中的變換單元可遞歸地被劃分為更小尺寸的區(qū)域，從而可以以這些區(qū)域?yàn)閱挝华?dú)立地確定變換單元。因此，可以按照根據(jù)變換深度的具有樹結(jié)構(gòu)的變換單元來劃分編碼單元中的殘差數(shù)據(jù)。還可在變換單元中設(shè)置指示通過劃分編碼單元的高度和寬度而執(zhí)行劃分以達(dá)到變換單元的次數(shù)的變換深度。例如，在2N×2N的當(dāng)前編碼單元中，當(dāng)變換單元的尺寸也是2N×2N時(shí)，變換深度可以是0，當(dāng)變換單元的尺寸是N×N時(shí)，變換深度可以是1，當(dāng)變換單元的尺寸是N/2×N/2時(shí)，變換深度可以是2。換言之，可根據(jù)變換深度設(shè)置具有樹結(jié)構(gòu)的變換單元。根據(jù)編碼深度的編碼信息不僅需要關(guān)于編碼深度的信息，而且需要關(guān)于預(yù)測編碼和變換的信息。因此，編碼器120不僅確定具有最小編碼誤差的編碼深度，而且確定預(yù)測單元中的分區(qū)類型、根據(jù)預(yù)測單元的預(yù)測模式以及用于變換的變換單元的尺寸。對(duì)于幀間預(yù)測，根據(jù)編碼深度的編碼信息可包括與用于對(duì)子像素單元進(jìn)行插值的插值濾波相關(guān)的信息。此外，編碼器120可基于在每個(gè)最大編碼單元或當(dāng)前編碼單元中預(yù)先限制性地設(shè)置的變換單元的最大劃分級(jí)別，通過使用具有樹結(jié)構(gòu)的變換單元執(zhí)行變換以對(duì)編碼單元進(jìn)行編碼。在根據(jù)深度的每個(gè)更深的編碼單元中，具有小于或等于編碼單元的尺寸的基本變換單元可被分層劃分為更低變換深度的變換單元。具有樹結(jié)構(gòu)的變換單元可包括具有當(dāng)前允許的最大尺寸的基本變換單元以及與針對(duì)編碼單元允許的最大劃分級(jí)別相關(guān)的更低級(jí)別的變換單元。在根據(jù)當(dāng)前編碼單元中的變換深度在每個(gè)級(jí)別中執(zhí)行變換之后，編碼器120可確定具有樹結(jié)構(gòu)的變換單元，所述具有樹結(jié)構(gòu)的變換單元獨(dú)立于鄰近區(qū)域的變換單元并且根據(jù)變換深度形成相同區(qū)域中的變換單元之間的分層結(jié)構(gòu)。換言之，可通過使用各種尺寸的變換單元對(duì)每個(gè)編碼單元執(zhí)行變換然后比較變換的結(jié)果來確定具有樹結(jié)構(gòu)的變換單元。在編碼單元正被確定時(shí)，可確定用于變換編碼單元的變換單元。每當(dāng)根據(jù)一個(gè)或更多個(gè)深度中的每個(gè)深度的編碼單元被編碼時(shí)，根據(jù)一個(gè)或更多個(gè)變換深度中的每個(gè)變換深度的變換單元可被用于執(zhí)行變換。必須針對(duì)每個(gè)編碼單元確定具有最小編碼誤差的變換單元。為了在變換單元中確定具有最小編碼誤差的變換深度，可測量編碼誤差并在根據(jù)深度的所有更深的變換單元中比較編碼誤差。變換單元可被確定為用于使編碼單元的變換誤差最小化的數(shù)據(jù)單元。因此，由于具有最小編碼誤差的根據(jù)深度的更深的編碼單元和更深的變換單元的組合在最大編碼單元的每個(gè)區(qū)域中被單獨(dú)地確定，因此可確定具有樹結(jié)構(gòu)的編碼單元和具有樹結(jié)構(gòu)的變換單元。稍后將參照圖15至圖25詳細(xì)地描述根據(jù)本發(fā)明的實(shí)施例的在最大編碼單元中確定具有樹結(jié)構(gòu)的編碼單元、分區(qū)以及具有樹結(jié)構(gòu)的變換單元的方法。編碼器120可通過使用基于拉格朗日乘子的率失真優(yōu)化來測量根據(jù)深度的更深的編碼單元的編碼誤差。視頻編碼設(shè)備100可以以比特流的形式輸出基于由編碼器120確定的至少一個(gè)編碼深度被編碼的最大編碼單元的圖像數(shù)據(jù)以及被輸出單元130編碼的關(guān)于根據(jù)編碼深度的編碼模式的信息。隨著畫面基于具有樹結(jié)構(gòu)的編碼單元、預(yù)測單元和變換單元被編碼所確定的關(guān)于根據(jù)深度的更深的編碼單元的編碼模式的信息可被包括在比特流的頭、序列參數(shù)集(SPS)或畫面參數(shù)集(PPS)中。可通過對(duì)圖像的殘差數(shù)據(jù)進(jìn)行編碼來獲得編碼的圖像數(shù)據(jù)。關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于編碼深度的信息、關(guān)于預(yù)測單元中的分區(qū)類型、預(yù)測模式和變換單元的尺寸的信息。關(guān)于編碼深度的信息可通過使用根據(jù)深度的劃分信息來定義，其表示是否對(duì)更低深度(而非當(dāng)前深度)的編碼單元執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng)前深度是編碼深度，則當(dāng)前編碼單元中的圖像數(shù)據(jù)被編碼和輸出，因此，劃分信息可被定義為不將當(dāng)前編碼單元?jiǎng)澐值礁蜕疃??？蛇x地，如果當(dāng)前編碼單元的當(dāng)前深度不是編碼深度，則對(duì)更低深度的編碼單元執(zhí)行編碼，因此，劃分信息可被定義為劃分當(dāng)前編碼單元以獲得更低深度的編碼單元。如果當(dāng)前深度不是編碼深度，則對(duì)被劃分為更低深度的編碼單元的編碼單元執(zhí)行編碼。由于在當(dāng)前深度的一個(gè)編碼單元中存在更低深度的至少一個(gè)編碼單元，因此，對(duì)更低深度的每個(gè)編碼單元重復(fù)地執(zhí)行編碼，從而可針對(duì)具有相同深度的編碼單元遞歸地執(zhí)行編碼。由于針對(duì)一個(gè)最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元，并且針對(duì)編碼深度的編碼單元確定關(guān)于至少一個(gè)編碼模式的信息，因此，可針對(duì)一個(gè)最大編碼單元確定關(guān)于至少一個(gè)編碼模式的信息。此外，最大編碼單元的圖像數(shù)據(jù)的編碼深度可根據(jù)位置而不同，這是因?yàn)閳D像數(shù)據(jù)根據(jù)深度被分層劃分，因此，可針對(duì)圖像數(shù)據(jù)設(shè)置關(guān)于編碼深度和編碼模式的信息。因此，輸出單元130可將關(guān)于相應(yīng)的編碼深度和編碼模式的編碼信息分配到包括在最大編碼單元中的編碼單元、預(yù)測單元和最小單元中的至少一個(gè)。根據(jù)本發(fā)明的實(shí)施例的最小單元是通過將構(gòu)成最低深度的最小編碼單元?jiǎng)澐炙拇嗡@得的矩形數(shù)據(jù)單元?？蛇x地，最小單元可以是可被包括在在最大編碼單元中包括的所有的編碼單元、預(yù)測單元、分區(qū)單元和變換單元中的最大矩形數(shù)據(jù)單元。例如，通過輸出單元130輸出的編碼信息可被分類為根據(jù)編碼單元的編碼信息和根據(jù)預(yù)測單元的編碼信息。根據(jù)編碼單元的編碼信息可包括關(guān)于預(yù)測模式的信息和關(guān)于分區(qū)的尺寸的信息。根據(jù)預(yù)測單元的編碼信息可包括關(guān)于幀間模式的估計(jì)方向的信息、關(guān)于幀間模式的參考圖像索引的信息、關(guān)于運(yùn)動(dòng)矢量的信息、關(guān)于幀內(nèi)模式的色度分量的信息和關(guān)于幀內(nèi)模式的插值方法的信息。關(guān)于根據(jù)畫面、條帶或GOP定義的編碼單元的最大尺寸的信息以及關(guān)于最大深度的信息可被插入比特流的頭、SPS或PPS中。在視頻編碼設(shè)備100中，更深的編碼單元可以是通過將上述的作為一層的上級(jí)深度的編碼單元的高度和寬度劃分兩次所獲得的編碼單元。換言之，當(dāng)當(dāng)前深度的編碼單元的尺寸是2N×2N時(shí)，更低深度的編碼單元的尺寸是N×N。此外，具有2N×2N尺寸的當(dāng)前深度的編碼單元可包括最多四個(gè)更低深度的編碼單元。因此，視頻編碼設(shè)備100可通過基于考慮當(dāng)前畫面的特性確定的最大深度和最大編碼單元的尺寸針對(duì)每個(gè)最大編碼單元確定具有最佳形狀和最佳尺寸的編碼單元來形成具有樹結(jié)構(gòu)的編碼單元。此外，由于可通過使用各種預(yù)測模式和變換中的任何一種對(duì)每個(gè)最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的特性來確定最佳編碼模式。因此，如果具有高分辨率或大數(shù)據(jù)量的圖像以傳統(tǒng)宏塊被編碼，則對(duì)于每個(gè)畫面宏塊的數(shù)量過度增加。因此，針對(duì)每個(gè)宏塊產(chǎn)生的壓縮信息的條數(shù)增加，從而難以發(fā)送壓縮信息，并且數(shù)據(jù)壓縮效率降低。然而，通過使用視頻編碼設(shè)備100，圖像壓縮效率可以提高，這是因?yàn)樵诳紤]圖像的特性時(shí)調(diào)整編碼單元，同時(shí)在考慮圖像的尺寸時(shí)增大編碼單元的最大尺寸。輸出單元130可對(duì)編碼信息進(jìn)行編碼，并輸出編碼信息，其中，編碼信息指示用于基于具有樹結(jié)構(gòu)的編碼單元和具有樹結(jié)構(gòu)的變換單元對(duì)視頻進(jìn)行編碼的編碼方法。編碼信息可包括關(guān)于與編碼深度相應(yīng)的編碼單元的各種編碼模式的信息以及關(guān)于編碼深度的信息。用于視頻解碼設(shè)備200的各種操作的諸如編碼單元、深度、預(yù)測單元、變換單元和關(guān)于各種編碼模式的信息的各種術(shù)語的定義與參照視頻編碼設(shè)備100描述的術(shù)語的定義相同。接收器210接收編碼視頻的比特流。接收器和提取器220解析接收的比特流。接收器和提取器220從解析的比特流提取用于每個(gè)編碼單元的編碼的畫面數(shù)據(jù)，并將提取的畫面數(shù)據(jù)輸出到解碼器230，其中，編碼單元具有根據(jù)每個(gè)最大編碼單元的樹結(jié)構(gòu)。接收器和提取器220可從關(guān)于當(dāng)前畫面的頭、SPS或PPS提取關(guān)于當(dāng)前畫面的編碼單元的最大尺寸的信息。此外，接收器和提取器220可從解析的比特流提取關(guān)于具有根據(jù)每個(gè)最大編碼單元的樹結(jié)構(gòu)的編碼單元的編碼信息。從編碼信息提取關(guān)于編碼深度和編碼模式的信息。將提取的關(guān)于編碼深度和編碼模式的信息輸出到解碼器230。換言之，比特流中的圖像數(shù)據(jù)可被劃分為最大編碼單元，從而解碼器230可針對(duì)每個(gè)最大編碼單元對(duì)圖像數(shù)據(jù)進(jìn)行解碼?？舍槍?duì)關(guān)于與編碼深度相應(yīng)的至少一個(gè)編碼單元的信息來設(shè)置關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息，并且關(guān)于編碼模式的信息可包括關(guān)于與編碼深度相應(yīng)的相應(yīng)編碼單元的分區(qū)類型的信息、關(guān)于預(yù)測模式的信息以及關(guān)于變換單元的尺寸的信息。對(duì)于幀間預(yù)測，可根據(jù)編碼深度從編碼信息提取與用于對(duì)子像素單元進(jìn)行插值的插值濾波相關(guān)的信息。此外，可提取根據(jù)深度的劃分信息，作為關(guān)于編碼深度的信息。由接收器和提取器220提取的關(guān)于根據(jù)每個(gè)最大編碼單元的編碼深度和編碼模式的信息是關(guān)于如下編碼深度和編碼模式的信息，所述編碼深度和編碼模式被確定為當(dāng)編碼器(諸如視頻編碼設(shè)備100)根據(jù)每個(gè)最大編碼單元針對(duì)根據(jù)深度的每個(gè)更深的編碼單元重復(fù)地執(zhí)行編碼時(shí)產(chǎn)生最小編碼誤差。因此，視頻解碼設(shè)備200可通過根據(jù)產(chǎn)生最小編碼誤差的編碼深度和編碼模式對(duì)圖像數(shù)據(jù)進(jìn)行解碼來恢復(fù)圖像。由于關(guān)于編碼深度和編碼模式的編碼信息可被分配到相應(yīng)編碼單元、預(yù)測單元和最小單元中的預(yù)定數(shù)據(jù)單元，因此接收器和提取器220可根據(jù)預(yù)定數(shù)據(jù)單元提取關(guān)于編碼深度和編碼模式的信息。關(guān)于編碼深度和編碼模式的相同信息被分配到的預(yù)定數(shù)據(jù)單元可被推斷為包括在相同最大編碼單元中的數(shù)據(jù)單元。解碼器230可通過使用根據(jù)深度的劃分信息確定當(dāng)前最大編碼單元的至少一個(gè)編碼深度。如果劃分信息表示圖像數(shù)據(jù)在當(dāng)前深度中不再被劃分，則當(dāng)前深度是編碼深度。因此，解碼器230可通過使用關(guān)于與編碼深度相應(yīng)的每個(gè)編碼單元的預(yù)測單元的分區(qū)類型、預(yù)測模式和變換單元的尺寸的信息來對(duì)當(dāng)前最大編碼單元中的與每個(gè)編碼深度相應(yīng)的至少一個(gè)編碼單元的編碼的畫面數(shù)據(jù)進(jìn)行解碼，并輸出當(dāng)前最大編碼單元的圖像數(shù)據(jù)。換言之，可通過觀察為編碼單元、預(yù)測單元和最小單元中的預(yù)定數(shù)據(jù)單元分配的編碼信息集來收集包含包括相同劃分信息的編碼信息的數(shù)據(jù)單元，并且收集的數(shù)據(jù)單元可被視為將在相同編碼模式下被解碼器230解碼的一個(gè)數(shù)據(jù)單元。解碼器230可通過基于關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息對(duì)每個(gè)最大編碼單元中的編碼的畫面數(shù)據(jù)進(jìn)行解碼來恢復(fù)當(dāng)前畫面。分區(qū)類型、預(yù)測模式和變換單元可被讀取作為包括在每個(gè)最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元的編碼模式。解碼處理可包括包含幀內(nèi)預(yù)測和運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測以及逆變換。解碼器230可基于關(guān)于具有樹結(jié)構(gòu)的編碼單元的預(yù)測單元的預(yù)測模式和分區(qū)類型的信息來根據(jù)每個(gè)編碼單元的分區(qū)和預(yù)測模式執(zhí)行幀內(nèi)預(yù)測或運(yùn)動(dòng)補(bǔ)償。此外，解碼器230可讀取具有樹結(jié)構(gòu)的變換單元的結(jié)構(gòu)，并可基于變換單元對(duì)每個(gè)編碼單元執(zhí)行逆變換。當(dāng)針對(duì)每個(gè)最大編碼單元遞歸地執(zhí)行編碼時(shí)，視頻解碼設(shè)備200可獲得關(guān)于產(chǎn)生最小編碼誤差的至少一個(gè)編碼單元的信息，并可使用該信息對(duì)當(dāng)前畫面進(jìn)行解碼。換言之，可對(duì)被確定為每個(gè)最大編碼單元中的最佳編碼單元的具有樹結(jié)構(gòu)的編碼單元進(jìn)行解碼。此外，考慮圖像數(shù)據(jù)的分辨率和量來確定編碼單元的最大尺寸。因此，即使圖像數(shù)據(jù)具有高分辨率和大量數(shù)據(jù)，也可通過使用關(guān)于從編碼器接收的最佳編碼模式的信息，通過使用根據(jù)圖像數(shù)據(jù)的特性適應(yīng)性地確定的編碼模式和編碼單元的尺寸有效地對(duì)圖像數(shù)據(jù)進(jìn)行解碼并恢復(fù)圖像數(shù)據(jù)。圖15是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元的概念的示圖。編碼單元的尺寸可被表示為寬度×高度，并且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可被劃分為64×64、64×32、32×64或32×32的分區(qū)，32×32的編碼單元可被劃分為32×32、32×16、16×32或16×16的分區(qū)，16×16的編碼單元可被劃分為16×16、16×8、8×16或8×8的分區(qū)，8×8的編碼單元可被劃分為8×8、8×4、4×8或4×4的分區(qū)。在視頻數(shù)據(jù)310中，分辨率是1920×1080，編碼單元的最大尺寸是64，最大深度是2。在視頻數(shù)據(jù)320中，分辨率是1920×1080，編碼單元的最大尺寸是64，最大深度是3。在視頻數(shù)據(jù)330中，分辨率是352×288，編碼單元的最大尺寸是16，最大深度是1。圖15中示出的最大深度表示從最大編碼單元到最小解碼單元的劃分總數(shù)。如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可以大，從而不但提高編碼效率，而且精確地反映圖像的特性。因此，具有比視頻數(shù)據(jù)330更高分辨率的視頻數(shù)據(jù)310和320的編碼單元的最大尺寸可以是64。由于視頻數(shù)據(jù)310的最大深度是2，因此視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元以及因通過將最大編碼單元?jiǎng)澐謨纱味疃燃由畹絻蓪拥拈L軸尺寸為32和16的編碼單元。同時(shí)，由于視頻數(shù)據(jù)330的最大深度是1，因此視頻數(shù)據(jù)330的編碼單元335可包括長軸尺寸為16的最大編碼單元以及因通過將最大編碼單元?jiǎng)澐忠淮味疃燃由畹揭粚拥拈L軸尺寸為8的編碼單元。由于視頻數(shù)據(jù)320的最大深度是3，因此視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元以及因通過將最大編碼單元?jiǎng)澐秩味疃燃由畹?層的長軸尺寸為32、16和8的編碼單元。隨著深度加深，可精確表示詳細(xì)信息。圖16是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像編碼器400的框圖。圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼器120的操作以對(duì)圖像數(shù)據(jù)進(jìn)行編碼。換言之，幀內(nèi)預(yù)測器410對(duì)當(dāng)前幀405中的處于幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預(yù)測，運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425通過使用當(dāng)前幀405和參考幀495對(duì)當(dāng)前幀405中的處于幀間模式下的編碼單元執(zhí)行幀間估計(jì)和運(yùn)動(dòng)補(bǔ)償。為了通過使用子像素單元中的參考像素精確地執(zhí)行運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425可通過對(duì)整像素單元中的像素進(jìn)行插值來產(chǎn)生子像素單元中的像素。用于產(chǎn)生子像素單元中的像素的插值濾波器可以是以上結(jié)合圖1和圖13A描述的插值濾波器。從幀內(nèi)預(yù)測器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425輸出的數(shù)據(jù)通過變換器430和量化器440被輸出為量化的變換系數(shù)。量化的變換系數(shù)通過反量化器460和逆變換器470被恢復(fù)為空域中的數(shù)據(jù)，恢復(fù)的空域中的數(shù)據(jù)在通過去塊單元480和環(huán)路濾波單元490進(jìn)行后處理之后被輸出為參考幀495。量化的變換系數(shù)可通過熵編碼器450被輸出為比特流455。為了將圖像編碼器400應(yīng)用在視頻編碼設(shè)備100中，圖像編碼器400的所有元件(即，幀內(nèi)預(yù)測器410、運(yùn)動(dòng)估計(jì)器420、運(yùn)動(dòng)補(bǔ)償器425、變換器430、量化器440、熵編碼器450、反量化器460、逆變換器470、去塊單元480和環(huán)路濾波單元490)必須在考慮每個(gè)最大編碼單元的最大深度時(shí)基于具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元來執(zhí)行操作。具體地，幀內(nèi)預(yù)測器410、運(yùn)動(dòng)估計(jì)器420和運(yùn)動(dòng)補(bǔ)償器425必須在考慮當(dāng)前最大編碼單元的最大尺寸和最大深度時(shí)確定具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元的分區(qū)和預(yù)測模式，并且變換器430必須確定具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元中的變換單元的尺寸。圖17是根據(jù)本發(fā)明的實(shí)施例的基于編碼單元的圖像解碼器500的框圖。解析器510從比特流505解析將被解碼的編碼的圖像數(shù)據(jù)和解碼所需的關(guān)于編碼的信息。編碼的圖像數(shù)據(jù)通過熵解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，反量化的數(shù)據(jù)通過逆變換器540被恢復(fù)為空域中的圖像數(shù)據(jù)。幀內(nèi)預(yù)測器550針對(duì)空域中的圖像數(shù)據(jù)對(duì)處于幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預(yù)測，運(yùn)動(dòng)補(bǔ)償器560通過使用參考幀585對(duì)處于幀間模式下的編碼單元執(zhí)行運(yùn)動(dòng)補(bǔ)償。為了通過使用子像素單元中的參考像素精確地執(zhí)行運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)補(bǔ)償器560可通過對(duì)整像素單元中的像素進(jìn)行插值來產(chǎn)生子像素單元中的像素。用于產(chǎn)生子像素單元中的像素的插值濾波器可以是以上結(jié)合圖2和圖13B描述的插值濾波器。通過幀內(nèi)預(yù)測器550和運(yùn)動(dòng)補(bǔ)償器560的空域中的圖像數(shù)據(jù)在通過去塊單元570和環(huán)路濾波單元580進(jìn)行后處理之后可被輸出為恢復(fù)幀595。此外，通過去塊單元570和環(huán)路濾波單元580進(jìn)行后處理的圖像數(shù)據(jù)可被輸出為參考幀585。為了在視頻解碼設(shè)備200的解碼器230中對(duì)圖像數(shù)據(jù)進(jìn)行解碼，圖像解碼器500可執(zhí)行在解析器510之后執(zhí)行的操作。為了將圖像解碼器500應(yīng)用在視頻解碼設(shè)備200中，圖像解碼器500的所有元件(即，解析器510、熵解碼器520、反量化器530、逆變換器540、幀內(nèi)預(yù)測器550、運(yùn)動(dòng)補(bǔ)償器560、去塊單元570和環(huán)路濾波單元580)必須基于針對(duì)每個(gè)最大編碼單元的具有樹結(jié)構(gòu)的編碼單元來執(zhí)行操作。具體地，幀內(nèi)預(yù)測器550和運(yùn)動(dòng)補(bǔ)償器560必須確定具有樹結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元的分區(qū)和預(yù)測模式，并且逆變換器540必須確定每個(gè)編碼單元的變換單元的尺寸。圖18是示出根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的更深的編碼單元和分區(qū)的示圖。視頻編碼設(shè)備100和視頻解碼設(shè)備200使用分層編碼單元，以便考慮圖像的特性。編碼單元的最大高度、最大寬度和最大深度可根據(jù)圖像的特性適應(yīng)性地確定，或者可由用戶不同地設(shè)置。根據(jù)深度的更深的編碼單元的尺寸可根據(jù)編碼單元的預(yù)定最大尺寸來確定。在根據(jù)本發(fā)明的實(shí)施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均為64，最大深度為4。在此情況下，最大深度表示從最大編碼單元到最小編碼單元執(zhí)行劃分的總次數(shù)。由于深度沿分層結(jié)構(gòu)600的縱軸加深，因此更深的編碼單元的高度和寬度均被劃分。此外，沿分層結(jié)構(gòu)600的橫軸示出作為用于每個(gè)更深的編碼單元的預(yù)測編碼的基礎(chǔ)的預(yù)測單元或分區(qū)。換言之，在分層結(jié)構(gòu)600中，編碼單元610是最大編碼單元，其中，深度為0，尺寸(即，高度×寬度)為64×64。深度沿縱軸加深，存在尺寸為32×32且深度為1的編碼單元620、尺寸為16×16且深度為2的編碼單元630以及尺寸為8×8且深度為3的編碼單元640。尺寸為8×8且深度為3的編碼單元640是最小編碼單元。編碼單元的預(yù)測單元和分區(qū)根據(jù)每個(gè)深度沿橫軸排列。換言之，如果尺寸為64×64且深度為0的編碼單元610是預(yù)測單元，則該預(yù)測單元可被劃分為包括在編碼單元610中的分區(qū)，即，尺寸為64×64的分區(qū)610、尺寸為64×32的分區(qū)612、尺寸為32×64的分區(qū)614或尺寸為32×32的分區(qū)616。類似地，尺寸為32×32且深度為1的編碼單元620的預(yù)測單元可被劃分為包括在編碼單元620中的分區(qū)，即，尺寸為32×32的分區(qū)620、尺寸為32×16的分區(qū)622、尺寸為16×32的分區(qū)624或尺寸為16×16的分區(qū)626。類似地，尺寸為16×16且深度為2的編碼單元630的預(yù)測單元可被劃分為包括在編碼單元630中的分區(qū)，即，尺寸為16×16的分區(qū)、尺寸為16×8的分區(qū)632、尺寸為8×16的分區(qū)634或尺寸為8×8的分區(qū)636。類似地，尺寸為8×8且深度為3的編碼單元640的預(yù)測單元可被劃分為包括在編碼單元640中的分區(qū)，即，尺寸為8×8的分區(qū)、尺寸為8×4的分區(qū)642、尺寸為4×8的分區(qū)644或尺寸為4×4的分區(qū)646。為了確定構(gòu)成最大編碼單元610的編碼單元的至少一個(gè)編碼深度，視頻編碼設(shè)備100的編碼器120針對(duì)包括在最大編碼單元610中的與每個(gè)深度相應(yīng)的編碼單元執(zhí)行編碼。包括相同范圍和相同尺寸的數(shù)據(jù)的根據(jù)深度的更深的編碼單元的數(shù)量隨著深度加深而增加。例如，需要與深度2相應(yīng)的四個(gè)編碼單元以涵蓋在與深度1相應(yīng)的一個(gè)編碼單元中包括的數(shù)據(jù)。因此，為了比較根據(jù)深度的相同數(shù)據(jù)的編碼結(jié)果，與深度1相應(yīng)的編碼單元和與深度2相應(yīng)的四個(gè)編碼單元均被編碼。為了針對(duì)深度中的當(dāng)前深度執(zhí)行編碼，可通過針對(duì)沿分層結(jié)構(gòu)600的橫軸的與當(dāng)前深度相應(yīng)的編碼單元中的每個(gè)預(yù)測單元執(zhí)行編碼來針對(duì)當(dāng)前深度選擇最小編碼誤差?？蛇x地，可通過針對(duì)隨深度沿分層結(jié)構(gòu)600的縱軸加深的每個(gè)深度執(zhí)行編碼，通過將根據(jù)深度的最小編碼誤差進(jìn)行比較來搜索最小編碼誤差。編碼單元610中的具有最小編碼誤差的深度和分區(qū)可被選擇為編碼單元610的編碼深度和分區(qū)類型。圖19是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元710和變換單元720之間的關(guān)系的示圖。視頻編碼設(shè)備100或視頻解碼設(shè)備200根據(jù)針對(duì)每個(gè)最大編碼單元的尺寸小于或等于最大編碼單元的編碼單元來對(duì)圖像進(jìn)行編碼或解碼?？苫诓淮笥谙鄳?yīng)編碼單元的數(shù)據(jù)單元來選擇在編碼期間用于變換的變換單元的尺寸。例如，在視頻編碼設(shè)備100或視頻解碼設(shè)備200中，如果編碼單元710的尺寸是64×64，則可通過使用尺寸為32×32的變換單元720來執(zhí)行變換。此外，可通過對(duì)小于64×64的尺寸為32×32、16×16、8×8和4×4的變換單元中的每一個(gè)執(zhí)行變換來對(duì)尺寸為64×64的編碼單元710的數(shù)據(jù)進(jìn)行編碼，并隨后可選擇具有最小編碼誤差的變換單元。圖20是用于描述根據(jù)本發(fā)明的實(shí)施例的與編碼深度相應(yīng)的編碼單元的編碼信息的示圖。視頻編碼設(shè)備100的輸出單元130可對(duì)針對(duì)與編碼深度相應(yīng)的每個(gè)編碼單元的關(guān)于分區(qū)類型的信息800、關(guān)于預(yù)測模式的信息810和關(guān)于變換單元的尺寸的信息820進(jìn)行編碼，并發(fā)送信息800、信息810和信息820，作為關(guān)于編碼模式的信息。信息800表示關(guān)于通過將當(dāng)前編碼單元的預(yù)測單元進(jìn)行劃分所獲得的分區(qū)的形狀的信息，其中，分區(qū)是用于對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測編碼的數(shù)據(jù)單元。例如，尺寸為2N×2N的當(dāng)前編碼單元CU_0可被劃分為尺寸為2N×2N的分區(qū)802、尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806和尺寸為N×N的分區(qū)808中的任何一個(gè)。這里，關(guān)于分區(qū)類型的信息800被設(shè)置為指示尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806和尺寸為N×N的分區(qū)808之一。信息810表示每個(gè)分區(qū)的預(yù)測模式。例如，信息810可指示對(duì)由信息800表示的分區(qū)執(zhí)行的預(yù)測編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過模式816。信息820表示當(dāng)對(duì)當(dāng)前編碼單元執(zhí)行變換時(shí)所基于的變換單元。例如，變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀間變換單元828。視頻解碼設(shè)備200的接收器和提取器220可根據(jù)每個(gè)更深的編碼單元提取信息800、810和820，并且使用信息800、810和820來進(jìn)行解碼。圖21是根據(jù)本發(fā)明的實(shí)施例的根據(jù)深度的更深的編碼單元的示圖。劃分信息可被用于指示深度的改變。劃分信息表示當(dāng)前深度的編碼單元是否被劃分為更低深度的編碼單元。用于對(duì)深度為0且尺寸為2N_0×2N_0的編碼單元900進(jìn)行預(yù)測編碼的預(yù)測單元910可包括如下分區(qū)類型的分區(qū)：尺寸為2N_0×2N_0的分區(qū)類型912、尺寸為2N_0×N_0的分區(qū)類型914、尺寸為N_0×2N_0的分區(qū)類型916和尺寸為N_0×N_0的分區(qū)類型918。圖21僅示出通過將預(yù)測單元910進(jìn)行對(duì)稱劃分所獲得的分區(qū)類型912至918，但是分區(qū)類型不限于此，預(yù)測單元910的分區(qū)可包括非對(duì)稱分區(qū)、具有預(yù)定形狀的分區(qū)和具有幾何形狀的分區(qū)。根據(jù)每個(gè)分區(qū)類型，對(duì)尺寸為2N_0×2N_0的一個(gè)分區(qū)、尺寸為2N_0×N_0的兩個(gè)分區(qū)、尺寸為N_0×2N_0的兩個(gè)分區(qū)和尺寸為N_0×N_0的四個(gè)分區(qū)重復(fù)地執(zhí)行預(yù)測編碼?？蓪?duì)尺寸為2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分區(qū)執(zhí)行幀內(nèi)模式和幀間模式下的預(yù)測編碼。僅對(duì)尺寸為2N_0×2N_0的分區(qū)執(zhí)行跳過模式下的預(yù)測編碼。將在分區(qū)類型912至918中包括預(yù)測編碼的編碼的誤差進(jìn)行比較，并且在分區(qū)類型中確定最小編碼誤差。如果編碼誤差在分區(qū)類型912至916之一中最小，則預(yù)測單元910可不被劃分到更低深度。如果編碼誤差在分區(qū)類型918中最小，則深度從0改變到1以在操作920劃分分區(qū)類型918，并對(duì)深度為2且尺寸為N_0×N_0的編碼單元930重復(fù)地執(zhí)行編碼以搜索最小編碼誤差。用于對(duì)深度為1且尺寸為2N_1×2N_1(＝N_0×N_0)的編碼單元930進(jìn)行預(yù)測編碼的預(yù)測單元940可包括如下分區(qū)類型的分區(qū)：尺寸為2N_1×2N_1的分區(qū)類型942、尺寸為2N_1×N_1的分區(qū)類型944、尺寸為N_1×2N_1的分區(qū)類型946和尺寸為N_1×N_1的分區(qū)類型948。如果編碼誤差在分區(qū)類型948中最小，則深度從1改變到2以在操作950劃分分區(qū)類型948，并對(duì)深度為2且尺寸為N_2×N_2的編碼單元960重復(fù)地執(zhí)行編碼以搜索最小編碼誤差。當(dāng)最大深度為d時(shí)，可分配根據(jù)深度的更深的編碼單元，直到深度變?yōu)閐-1，并且可對(duì)劃分信息進(jìn)行編碼，直到深度為0至d-2之一。換言之，當(dāng)執(zhí)行編碼直到在與深度d-2相應(yīng)的編碼單元在操作970被劃分之后深度為d-1時(shí)，用于對(duì)深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元980進(jìn)行預(yù)測編碼的預(yù)測單元990可包括如下分區(qū)類型的分區(qū)：尺寸為2N_(d-1)×2N_(d-1)的分區(qū)類型992、尺寸為2N_(d-1)×N_(d-1)的分區(qū)類型994、尺寸為N_(d-1)×2N_(d-1)的分區(qū)類型996和尺寸為N_(d-1)×N_(d-1)的分區(qū)類型998?？蓪?duì)分區(qū)類型992至998中的尺寸為2N_(d-1)×2N_(d-1)的一個(gè)分區(qū)、尺寸為2N_(d-1)×N_(d-1)的兩個(gè)分區(qū)、尺寸為N_(d-1)×2N_(d-1)的兩個(gè)分區(qū)、尺寸為N_(d-1)×N_(d-1)的四個(gè)分區(qū)重復(fù)地執(zhí)行預(yù)測編碼，以搜索具有最小編碼誤差的分區(qū)類型。即使當(dāng)分區(qū)類型998具有最小編碼誤差時(shí)，由于最大深度為d，因此深度為d-1的編碼單元CU_(d-1)也不再被劃分到更低深度，并且構(gòu)成當(dāng)前最大編碼單元900的編碼單元的編碼深度被確定為d-1，且當(dāng)前最大編碼單元900的分區(qū)類型可被確定為N_(d-1)×N_(d-1)。此外，由于最大深度為d且具有最低深度d-1的最小編碼單元980不再被劃分到更低深度，因此不設(shè)置用于最小編碼單元980的劃分信息。數(shù)據(jù)單元999可以是針對(duì)當(dāng)前最大編碼單元的“最小單元”。根據(jù)本發(fā)明的實(shí)施例的最小單元可以是通過將最小編碼單元980劃分四次所獲得的矩形數(shù)據(jù)單元。通過重復(fù)地執(zhí)行編碼，視頻編碼設(shè)備100可通過將根據(jù)編碼單元900的深度的編碼誤差進(jìn)行比較來選擇具有最小編碼誤差的深度以確定編碼深度，并將相應(yīng)分區(qū)類型和預(yù)測模式設(shè)置為編碼深度的編碼模式。如此，在所有深度1至d中比較根據(jù)深度的最小編碼誤差，并且具有最小編碼誤差的深度可被確定為編碼深度。編碼深度、預(yù)測單元的分區(qū)類型和預(yù)測模式可作為關(guān)于編碼模式的信息被編碼和發(fā)送。此外，由于編碼單元從深度0被劃分到編碼深度，因此僅編碼深度的劃分信息被設(shè)置為0，除了編碼深度之外的深度的劃分信息被設(shè)置為1。視頻解碼設(shè)備200的接收器和提取器220可提取和使用關(guān)于編碼深度的信息以及編碼單元900的預(yù)測單元，以對(duì)分區(qū)912進(jìn)行解碼。視頻解碼設(shè)備200可通過使用根據(jù)深度的劃分信息來將劃分信息為0的深度確定為編碼深度，并使用關(guān)于相應(yīng)深度的編碼模式的信息來進(jìn)行解碼。圖22至圖24是用于描述根據(jù)本發(fā)明的實(shí)施例的編碼單元1010、預(yù)測單元1060和變換單元1070之間的關(guān)系的示圖。編碼單元1010是最大編碼單元中的與由視頻編碼設(shè)備100確定的編碼深度相應(yīng)的具有樹結(jié)構(gòu)的編碼單元。預(yù)測單元1060是編碼單元1010中的每一個(gè)的預(yù)測單元的分區(qū)，變換單元1070是編碼單元1010中的每一個(gè)的變換單元。當(dāng)在編碼單元1010中最大編碼單元的深度為0時(shí)，編碼單元1012和1054的深度為1、編碼單元1014、1016、1018、1028、1050和1052的深度為2、編碼單元1020、1022、1024、1026、1030、1032和1048的深度為3，編碼單元1040、1042、1044和1046的深度為4。在預(yù)測單元1060中，通過對(duì)編碼單元1010中的編碼單元進(jìn)行劃分來獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052和1054。換言之，編碼單元1014、1022、1050和1054中的分區(qū)類型具有尺寸2N×N，編碼單元1016、1048和1052中的分區(qū)類型具有尺寸N×2N，編碼單元1032中的分區(qū)類型具有尺寸N×N。編碼單元1010的預(yù)測單元和分區(qū)小于或等于每個(gè)編碼單元。在小于編碼單元1052的數(shù)據(jù)單元中對(duì)變換單元1070中的編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或逆變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052在尺寸和形狀方面不同于預(yù)測單元1060中的編碼單元1014、1016、1022、1032、1048、1050和1052。換言之，視頻編碼設(shè)備100和視頻解碼設(shè)備200可對(duì)相同編碼單元中的數(shù)據(jù)單元單獨(dú)地執(zhí)行幀內(nèi)預(yù)測、運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、變換和逆變換。因此，在最大編碼單元的每個(gè)區(qū)域中對(duì)具有分層結(jié)構(gòu)的編碼單元中的每一個(gè)遞歸地執(zhí)行編碼，以確定最佳編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括關(guān)于編碼單元的劃分信息、關(guān)于分區(qū)類型的信息、關(guān)于預(yù)測模式的信息以及關(guān)于變換單元的尺寸的信息。表1示出了可由視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。表1視頻編碼設(shè)備100的輸出單元130可輸出關(guān)于具有樹結(jié)構(gòu)的編碼單元的編碼信息，視頻解碼設(shè)備200的接收器和提取器220可從接收的比特流提取關(guān)于具有樹結(jié)構(gòu)的編碼單元的編碼信息。劃分信息表示當(dāng)前編碼單元是否被劃分為更低深度的編碼單元。如果當(dāng)前深度d的劃分信息是0，則當(dāng)前編碼單元不再被劃分到更低深度的深度是編碼深度，因此可針對(duì)編碼深度定義關(guān)于分區(qū)類型、預(yù)測模式和變換單元的尺寸的信息。如果當(dāng)前編碼單元根據(jù)劃分信息被進(jìn)一步劃分，則對(duì)更低深度的四個(gè)劃分的編碼單元獨(dú)立地執(zhí)行編碼。預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳過模式之一。可在所有分區(qū)類型中定義幀內(nèi)模式和幀間模式，僅在尺寸為2N×2N的分區(qū)類型中定義跳過模式。關(guān)于分區(qū)類型的信息可指示通過將預(yù)測單元的高度或?qū)挾冗M(jìn)行對(duì)稱劃分所獲得的尺寸為2N×2N、2N×N、N×2N和N×N的對(duì)稱分區(qū)類型以及通過將預(yù)測單元的高度或?qū)挾冗M(jìn)行非對(duì)稱劃分所獲得的尺寸為2N×nU、2N×nD、nL×2N和nR×2N的非對(duì)稱分區(qū)類型。可通過按照1:3和3:1將預(yù)測單元的高度進(jìn)行劃分分別獲得尺寸為2N×nU和2N×nD的非對(duì)稱分區(qū)類型，可通過按照1:3和3:1將預(yù)測單元的寬度進(jìn)行劃分分別獲得尺寸為nL×2N和nR×2N的非對(duì)稱分區(qū)類型。變換單元的尺寸可被設(shè)置為幀內(nèi)模式下的兩種類型和幀間模式下的兩種類型。換言之，如果變換單元的劃分信息是0，則變換單元的尺寸可以是作為當(dāng)前編碼單元的尺寸的2N×2N。如果變換單元的劃分信息是1，則可通過劃分當(dāng)前編碼單元來獲得變換單元。此外，如果尺寸為2N×2N的當(dāng)前編碼單元的分區(qū)類型是對(duì)稱分區(qū)類型，則變換單元的尺寸可以是N×N，而如果當(dāng)前編碼單元的分區(qū)類型是非對(duì)稱分區(qū)類型，則變換單元的尺寸可以是N/2×N/2。關(guān)于具有樹結(jié)構(gòu)的編碼單元的編碼信息可包括與編碼深度相應(yīng)的編碼單元、預(yù)測單元和最小單元中的至少一個(gè)。與編碼深度相應(yīng)的編碼單元可包括預(yù)測單元和最小單元中的至少一個(gè)，所述預(yù)測單元和最小單元包含相同的編碼信息。因此，通過比較鄰近數(shù)據(jù)單元的編碼信息來確定鄰近數(shù)據(jù)單元是否包括在與編碼深度相應(yīng)的相同編碼單元中。此外，通過使用數(shù)據(jù)單元的編碼信息來確定與編碼深度相應(yīng)的相應(yīng)編碼單元，從而可確定最大編碼單元中的編碼深度的分布。因此，如果當(dāng)前編碼單元基于鄰近數(shù)據(jù)單元的編碼信息被預(yù)測，則可直接參考和使用與當(dāng)前編碼單元鄰近的更深的編碼單元中的數(shù)據(jù)單元的編碼信息?？蛇x地，如果當(dāng)前編碼單元基于鄰近數(shù)據(jù)單元的編碼信息被預(yù)測，則使用數(shù)據(jù)單元的編碼信息來搜索與當(dāng)前編碼單元鄰近的數(shù)據(jù)單元，并可參考搜索到的鄰近編碼單元來對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測。圖25是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元或分區(qū)和變換單元之間的關(guān)系的示圖。最大編碼單元1300包括編碼深度的編碼單元1302、1304、1306、1312、1314、1316和1318。這里，由于編碼單元1318是編碼深度的編碼單元，因此劃分信息可被設(shè)置為0。關(guān)于尺寸為2N×2N的編碼單元1318的分區(qū)類型的信息可被設(shè)置為如下分區(qū)類型之一：尺寸為2N×2N的分區(qū)類型1322、尺寸為2N×N的分區(qū)類型1324、尺寸為N×2N的分區(qū)類型1326、尺寸為N×N的分區(qū)類型1328、尺寸為2N×nU的分區(qū)類型1332、尺寸為2N×nD的分區(qū)類型1334、尺寸為nL×2N的分區(qū)類型1336和尺寸為nR×2N的分區(qū)類型1338。變換單元的劃分信息(TU尺寸標(biāo)記)是一種變換索引，并且與變換索引相應(yīng)的變換單元的尺寸可根據(jù)編碼單元的預(yù)測單元類型或分區(qū)類型而變化。例如，當(dāng)分區(qū)類型被設(shè)置為對(duì)稱(即，分區(qū)類型1322、1324、1326或1328)時(shí)，如果TU尺寸標(biāo)記是0，則設(shè)置尺寸為2N×2N的變換單元1342，如果TU尺寸標(biāo)記是1，則設(shè)置尺寸為N×N的變換單元1344。當(dāng)分區(qū)類型被設(shè)置為非對(duì)稱(即，分區(qū)類型1332、1334、1336或1338)時(shí)，如果TU尺寸標(biāo)記是0，則設(shè)置尺寸為2N×2N的變換單元1352，如果TU尺寸標(biāo)記是1，則設(shè)置尺寸為N/2×N/2的變換單元1354。參照圖21，TU尺寸標(biāo)記是具有值0或1的標(biāo)記，但是TU尺寸標(biāo)記不限于1比特，在TU尺寸標(biāo)記從0增加時(shí)，變換單元可被分層劃分為具有樹結(jié)構(gòu)。TU尺寸標(biāo)記可被用作變換索引的示例。在此情況下，實(shí)際使用的變換單元的尺寸可通過使用根據(jù)本發(fā)明的實(shí)施例的變換單元的TU尺寸標(biāo)記以及變換單元的最大尺寸和最小尺寸來表示。根據(jù)本發(fā)明的實(shí)施例，視頻編碼設(shè)備100能夠?qū)ψ畲笞儞Q單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記進(jìn)行編碼。最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記的編碼結(jié)果可被插入SPS中。根據(jù)本發(fā)明的實(shí)施例，視頻解碼設(shè)備200可通過使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記對(duì)視頻進(jìn)行解碼。例如，(a)如果當(dāng)前編碼單元的尺寸是64×64并且最大變換單元尺寸是32×32，則(a-1)當(dāng)TU尺寸標(biāo)記是0時(shí)，變換單元的尺寸可以是32×32，(a-2)當(dāng)TU尺寸標(biāo)記是1時(shí)，變換單元的尺寸可以是16×16，(a-3)當(dāng)TU尺寸標(biāo)記是2時(shí)，變換單元的尺寸可以是8×8。作為另一示例，(b)如果當(dāng)前編碼單元的尺寸是32×32并且最小變換單元尺寸是32×32，則(b-1)當(dāng)TU尺寸標(biāo)記是0時(shí)，變換單元的尺寸可以是32×32。這里，TU尺寸標(biāo)記不能被設(shè)置為除0以外的值，這是因?yàn)樽儞Q單元的尺寸不能小于32×32。作為另一示例，(c)如果當(dāng)前編碼單元的尺寸是64×64并且最大TU尺寸標(biāo)記是1，則TU尺寸標(biāo)記可以是0或1。這里，TU尺寸標(biāo)記不能被設(shè)置為除0或1以外的值。因此，如果當(dāng)TU尺寸標(biāo)記是0時(shí)，進(jìn)行如下定義：最大TU尺寸標(biāo)記是“MaxTransformSizeIndex”，最小變換單元尺寸是“MinTransformSize”并且根變換單元尺寸是“RootTuSize”，則可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”可通過等式(1)來定義：CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))(1)與可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”相比，根變換單元尺寸“RootTuSize”可表示可在系統(tǒng)中選擇的最大變換單元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示當(dāng)根變換單元尺寸“RootTuSize”被劃分與最大TU尺寸標(biāo)記相應(yīng)的次數(shù)時(shí)的變換單元尺寸，“MinTransformSize”表示最小變換尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中的較小的值可以是可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”。根據(jù)本發(fā)明的實(shí)施例，根變換單元尺寸“RootTuSize”可根據(jù)預(yù)測模式的類型而變化。例如，如果當(dāng)前預(yù)測模式是幀間模式，則“RootTuSize”可通過使用下面的等式(2)來確定。在等式(2)中，“MaxTransformSize”表示最大變換單元尺寸，“PUSize”表示當(dāng)前預(yù)測單元尺寸。RootTuSize＝min(MaxTransformSize,PUSize).........(2)即，如果當(dāng)前預(yù)測模式是幀間模式，則當(dāng)TU尺寸標(biāo)記是0時(shí)根變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前預(yù)測單元尺寸中的較小的值。如果當(dāng)前分區(qū)單元的預(yù)測模式是幀內(nèi)模式，則“RootTuSize”可通過使用下面的等式(3)來確定。在等式(3)中，“PartitionSize”表示當(dāng)前分區(qū)單元的尺寸。RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)即，如果當(dāng)前預(yù)測模式是幀內(nèi)模式，則根變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前分區(qū)單元的尺寸中的較小的值。然而，根據(jù)分區(qū)單元中的預(yù)測模式的類型而變化的當(dāng)前最大變換單元尺寸(根變換單元尺寸“RootTuSize”)僅是示例，本發(fā)明不限于此。圖26是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的使用插值濾波器的視頻編碼方法的流程圖。在操作2610，為了對(duì)輸入視頻的當(dāng)前畫面進(jìn)行編碼，將當(dāng)前畫面劃分為至少一個(gè)最大編碼單元?？蓪?duì)通過根據(jù)深度劃分每個(gè)最大編碼單元的區(qū)域所獲得的至少一個(gè)劃分區(qū)域中的每一個(gè)進(jìn)行編碼。為了根據(jù)深度對(duì)每個(gè)劃分區(qū)域進(jìn)行編碼，對(duì)基于子像素單元插值和幀內(nèi)預(yù)測的幀間預(yù)測結(jié)果執(zhí)行變換和量化。這里，可通過將根據(jù)深度對(duì)劃分區(qū)域編碼的結(jié)果進(jìn)行比較來確定用于根據(jù)至少一個(gè)劃分區(qū)域輸出最終編碼結(jié)果的劃分深度，并且可確定包括在當(dāng)前最大編碼單元中且具有樹結(jié)構(gòu)的編碼單元。與具有樹結(jié)構(gòu)的編碼單元一樣，可確定具有樹結(jié)構(gòu)的變換單元。換言之，作為畫面的編碼結(jié)果，與確定的具有樹結(jié)構(gòu)的編碼單元一樣，具有樹結(jié)構(gòu)的變換單元的編碼結(jié)果可被輸出為畫面的編碼的數(shù)據(jù)?？蓪?duì)編碼單元的每個(gè)預(yù)測單元或分區(qū)執(zhí)行幀間預(yù)測?？蓞⒖纪ㄟ^執(zhí)行子像素單元插值所產(chǎn)生的像素來預(yù)測當(dāng)前預(yù)測單元或分區(qū)的運(yùn)動(dòng)。從用于產(chǎn)生子像素單元像素值的插值濾波器中，基于子像素單元插值位置不同地選擇插值濾波器。為了有效地執(zhí)行圖像插值，可選擇性地確定插值濾波器系數(shù)。插值濾波器可根據(jù)插值位置被選擇為對(duì)稱插值濾波器或非對(duì)稱插值濾波器。插值濾波器可以是奇數(shù)抽頭插值濾波器或偶數(shù)抽頭插值濾波器。從預(yù)先存儲(chǔ)在存儲(chǔ)器中的插值濾波器系數(shù)中，可根據(jù)子像素單元插值位置、平滑度、濾波器抽頭的數(shù)量、比特深度、縮放比例、基于變換的插值濾波的基函數(shù)、窗口濾波器尺寸和顏色分量來選擇期望的插值濾波器，并且可執(zhí)行插值以產(chǎn)生子像素單元像素值。在操作2620，將作為根據(jù)每個(gè)最大編碼單元的至少一個(gè)劃分區(qū)域的最終編碼結(jié)果獲得的圖像數(shù)據(jù)以及關(guān)于編碼深度和編碼模式的信息輸出為比特流。關(guān)于編碼模式的信息可包括關(guān)于編碼深度的信息或劃分信息、關(guān)于預(yù)測單元的分區(qū)類型的信息、關(guān)于預(yù)測模式的信息以及關(guān)于變換單元的樹結(jié)構(gòu)的信息。編碼信息可包括關(guān)于用于執(zhí)行子像素單元預(yù)測編碼的插值濾波器的信息。關(guān)于編碼模式的編碼的信息可與編碼的圖像數(shù)據(jù)一起被發(fā)送到解碼設(shè)備。圖27是根據(jù)本發(fā)明的實(shí)施例的基于具有樹結(jié)構(gòu)的編碼單元的使用插值濾波器的視頻解碼方法的流程圖。在操作2710，接收并解析編碼視頻的比特流。在操作2720，從解析的比特流提取被分配到最大編碼單元的當(dāng)前畫面的編碼的圖像數(shù)據(jù)以及關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息?？蓮木幋a信息提取關(guān)于執(zhí)行子像素單元運(yùn)動(dòng)補(bǔ)償所需的插值濾波器的信息?？蓮木幋a信息提取關(guān)于編碼深度和編碼模式的信息。根據(jù)關(guān)于編碼深度和編碼模式的信息，可將最大編碼單元?jiǎng)澐譃榫哂袠浣Y(jié)構(gòu)的編碼單元。此外，根據(jù)包括在提取的信息中的關(guān)于變換單元的樹結(jié)構(gòu)的信息，可確定根據(jù)編碼單元中的變換深度的具有樹結(jié)構(gòu)的變換單元。在操作2730，通過使用關(guān)于根據(jù)每個(gè)最大編碼單元的編碼深度和編碼模式的信息，可基于具有樹結(jié)構(gòu)的編碼單元、預(yù)測單元和具有樹結(jié)構(gòu)的變換單元對(duì)每個(gè)最大編碼單元的圖像數(shù)據(jù)進(jìn)行解碼。由于基于關(guān)于編碼深度和編碼模式的信息對(duì)當(dāng)前編碼單元進(jìn)行解碼，因此可通過使用從具有樹結(jié)構(gòu)的變換單元中確定的變換單元對(duì)當(dāng)前編碼單元進(jìn)行逆變換?？赏ㄟ^基于編碼模式對(duì)編碼單元的每個(gè)預(yù)測單元或分區(qū)執(zhí)行諸如運(yùn)動(dòng)補(bǔ)償和幀內(nèi)預(yù)測的各種解碼操作來對(duì)編碼的畫面數(shù)據(jù)進(jìn)行解碼。具體地講，如果基于在子像素單元中插值的像素提取編碼的殘差數(shù)據(jù)和參考數(shù)據(jù)，則可基于在子像素單元中插值的像素對(duì)當(dāng)前預(yù)測單元或當(dāng)前分區(qū)執(zhí)行運(yùn)動(dòng)補(bǔ)償。從用于產(chǎn)生子像素單元像素值的插值濾波器中，可基于子像素單元插值位置不同地選擇插值濾波器。插值濾波器可根據(jù)插值位置被選擇為對(duì)稱插值濾波器或非對(duì)稱插值濾波器。插值濾波器可以是奇數(shù)抽頭插值濾波器或偶數(shù)抽頭插值濾波器。為了有效地執(zhí)行圖像插值，可選擇性地確定插值濾波器系數(shù)。從預(yù)先存儲(chǔ)在存儲(chǔ)器中的插值濾波器系數(shù)中，可根據(jù)子像素單元插值位置、平滑度、濾波器抽頭的數(shù)量、比特深度、縮放比例、基于變換的插值濾波的基函數(shù)、窗口濾波器尺寸和顏色分量來選擇期望的插值濾波器，并且可執(zhí)行插值以產(chǎn)生子像素單元像素值。通過使用參考數(shù)據(jù)確定參考畫面和參考區(qū)域，并且可通過對(duì)參考畫面的兩個(gè)或更多個(gè)整像素單元參考像素執(zhí)行插值濾波來產(chǎn)生子像素單元像素值?？赏ㄟ^將產(chǎn)生的子像素單元像素值和殘差數(shù)據(jù)進(jìn)行組合來對(duì)當(dāng)前預(yù)測單元或當(dāng)前分區(qū)執(zhí)行運(yùn)動(dòng)補(bǔ)償，因此，可執(zhí)行預(yù)測解碼。由于每個(gè)最大編碼單元被解碼，因此可恢復(fù)空域中的圖像數(shù)據(jù)，并且可恢復(fù)為畫面序列的視頻和畫面?；謴?fù)的視頻可通過再現(xiàn)設(shè)備被再現(xiàn)，可被存儲(chǔ)在存儲(chǔ)介質(zhì)中，或者可在網(wǎng)絡(luò)中被傳送。本發(fā)明的實(shí)施例可被寫為計(jì)算機(jī)程序，并可被實(shí)施在使用計(jì)算機(jī)可讀記錄介質(zhì)執(zhí)行這些程序的通用數(shù)字計(jì)算機(jī)中。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括磁存儲(chǔ)介質(zhì)(例如，ROM、軟盤、硬盤等)和光記錄介質(zhì)(例如，CD-ROM或DVD)。盡管已經(jīng)參照本發(fā)明的優(yōu)選實(shí)施例具體示出和描述了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人員將理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可對(duì)其進(jìn)行形式和細(xì)節(jié)上的各種改變。優(yōu)選實(shí)施例應(yīng)僅被視為描述性意義而非限制的目的。因此，本發(fā)明的范圍不是由本發(fā)明的具體實(shí)施方式限定的，而是由權(quán)利要求限定的，并且在所述范圍內(nèi)的所有差異將被視為包括在本發(fā)明中。