專利名稱：確定對幀的一個或多個像素進(jìn)行內(nèi)插的濾波器的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種確定用于對包括在幀中的一個或多個像素進(jìn)行內(nèi)插的濾波器的 方法。本發(fā)明還涉及一種對幀進(jìn)行編碼或解碼的方法，其中，所述編碼或解碼方法利用確定 濾波器的所述方法。本發(fā)明還涉及一種用于對幀進(jìn)行編碼或解碼的設(shè)備，其中，所述設(shè)備適 于利用所述編碼或解碼方法。
背景技術(shù)：
為了對幀間畫面進(jìn)行編碼，一些視頻編碼方案使用時間預(yù)測，所述時間預(yù)測借助 于基于運(yùn)動矢量的運(yùn)動補(bǔ)償以及與水平相位和/或垂直相位相關(guān)聯(lián)的相應(yīng)內(nèi)插濾波器，其 中所述運(yùn)動矢量具有由水平相位和/或垂直相位來指示的分?jǐn)?shù)像素分辨率。為了降低混疊偽像，內(nèi)插濾波器可以是自適應(yīng)的。該方法包括以下步驟在一次編碼(first encoding pass)中，利用缺省內(nèi)插濾波器對幀進(jìn)行編碼?；谒嬎愕倪\(yùn)動矢量，計算最優(yōu)多相內(nèi)插濾波器。即，確定那些使當(dāng)前信號與所 述當(dāng)前信號的運(yùn)動補(bǔ)償后的內(nèi)插之間的預(yù)測誤差能量最小化的內(nèi)插濾波器。在二次編碼(second encoding pass)中，使用所計算的內(nèi)插濾波器。將所計算的 內(nèi)插濾波器的濾波器系數(shù)連同幀一起進(jìn)行編碼。美國專利申請2004/0076333描述了位于搜索空間中的多個離散內(nèi)插濾波器。基 于選定的當(dāng)前最小濾波器，識別包括多個候選濾波器的搜索區(qū)域。將引起最小預(yù)測誤差的 候選濾波器識別為當(dāng)前最小濾波器，并且重復(fù)搜索，直到使預(yù)測誤差最小化為止。本領(lǐng)域中，正在努力以改善內(nèi)插以及減小編碼時間延遲和傳輸帶寬。

發(fā)明內(nèi)容
本發(fā)明進(jìn)行上述努力。提出了一種確定用于對包括在幀中的一個或多個像素進(jìn)行 內(nèi)插的濾波器的方法，所述方法包括權(quán)利要求1的特征。S卩，所述方法包括以下步驟確定幀的其余部分中的其他像素，其中，與所述其他 像素相關(guān)聯(lián)的運(yùn)動矢量和與所述像素相關(guān)聯(lián)的另一運(yùn)動矢量參考相同的參考幀、相同的水 平相位和/或相同的垂直相位；以及基于幀的其余部分中的其他像素確定濾波器，其中，確 定所述濾波器，使得所述其他像素的內(nèi)插的質(zhì)量達(dá)到或超過使用包括在濾波器候選集合中 的不同濾波器候選之一可確定的所述其他像素的任何其他內(nèi)插的質(zhì)量，其中所述內(nèi)插使用 所確定的濾波器來確定。如果僅在包括在相同幀中的其他不同像素上轉(zhuǎn)達(dá)內(nèi)插濾波器的確定，并且使至少 一個運(yùn)動矢量參數(shù)與要被濾波的像素相同，則確定用于內(nèi)插的濾波器的所述方法允許實現(xiàn) 單次編碼(single pass encoding)框架。在實施例中，所述不同的濾波器候選的濾波器類型、濾波參數(shù)的數(shù)目、和/或分配 給濾波參數(shù)的值是不同的。所述濾波器類型可以是中值內(nèi)插、線性內(nèi)插、雙線性內(nèi)插、雙三次內(nèi)插以及基于梯
4度的內(nèi)插中的一個。存在另一實施例，其中，所述不同的濾波器候選與所述參考幀、所述水平相位和/ 或所述垂直相位相關(guān)聯(lián)。在又一實施例中，所述濾波器候選包括與所述水平相位和/或所述垂直相位相關(guān) 聯(lián)的偏移。然后，可以根據(jù)照明的變化來確定濾波器。如果所述濾波器候選是一維的，則所確定的濾波器可以是一維濾波器，并且所述 方法還可以包括通過將所確定的一維濾波器與另一一維濾波器相組合，來確定二維濾波
ο將二維濾波器的確定分成確定一維濾波器以及與另一一維濾波器組合實現(xiàn)了快 速計算。具體地，如果所確定的一維濾波器和所述另一一維濾波器中的一個是垂直濾波 器，則另一個是水平濾波器。如果所述另一一維濾波器是借助于確定用于對像素進(jìn)行內(nèi)插的濾波器的方法的 實施例之一來確定的，則所確定的二維濾波器更適于對像素進(jìn)行內(nèi)插。在又一實施例中，將所述其他像素的內(nèi)插的質(zhì)量確定為所述其他像素的所述 內(nèi)插與所述其他像素的全重構(gòu)(full reconstruction)之間的均方差(mean square difference)或平均絕對差(mean absolute difference)，確定濾波器包括在針對所述其 他像素的不同內(nèi)插而確定的多個質(zhì)量之中確定最優(yōu)質(zhì)量。均方差是用于確定質(zhì)量的良好度量。取而代之，可以使用方差(squared difference)之和以及絕對差(absolute difference)之和。本發(fā)明還涉及一種在空間和/或信噪比可縮放視頻編碼框架中確定用于對與運(yùn) 動矢量相關(guān)聯(lián)的增強(qiáng)層塊進(jìn)行內(nèi)插的濾波器的方法。所述方法包括以下步驟確定同一位 置的較低層塊是否與相同的分別相應(yīng)精度的相應(yīng)運(yùn)動矢量相關(guān)聯(lián)，其中，所述相應(yīng)運(yùn)動矢 量具有至少一個與所述運(yùn)動矢量相同的運(yùn)動參數(shù)，并且如果是，則將濾波器確定為在所述 同一位置的較低層塊的內(nèi)插中使用的較低層濾波器。至少在所述相應(yīng)運(yùn)動矢量不具有與所 述運(yùn)動矢量相同的任何運(yùn)動參數(shù)的情況下，利用確定用于內(nèi)插的濾波器的方法的實施例之 一，來確定增強(qiáng)層內(nèi)使用的濾波器。這允許在可縮放視頻編碼框架中使用本發(fā)明的方法，而無需每個層中以及針對每 個塊的最優(yōu)化。本發(fā)明還涉及一種對幀進(jìn)行編碼或解碼的方法，所述方法包括將運(yùn)動矢量與所 述幀的當(dāng)前塊的像素相關(guān)聯(lián)；以及使用所述運(yùn)動矢量和利用確定用于內(nèi)插的濾波器的方法 的實施例之一而確定的濾波器，來確定所述當(dāng)前塊的像素的內(nèi)插。使用本發(fā)明的編碼方法，允許塊的更好內(nèi)插，并繼而允許更好的可壓縮殘差。使用 本發(fā)明的解碼方法使解碼與濾波器參數(shù)和/或濾波器類型的正確傳輸無關(guān)。在對幀進(jìn)行編碼或解碼的所述方法的實施例中，在執(zhí)行確定用于內(nèi)插的濾波器的 方法的實施例之一中確定的所述其他像素包括在幀的一個或多個其他塊中，已經(jīng)使用另一 運(yùn)動矢量來編碼或解碼所述其他塊。這允許利用單次(single pass)的自適應(yīng)內(nèi)插濾波器對幀進(jìn)行編碼或解碼。
在對幀進(jìn)行編碼或解碼的所述方法的所述實施例中，所述其他塊可以包括在與所 述當(dāng)前塊鄰近或圍繞所述當(dāng)前塊的窗中。那么，濾波器適于局部畫面內(nèi)容。在對幀進(jìn)行編碼或解碼的所述方法的另一實施例中，所述方法還包括確定當(dāng)前 塊的殘差；以及對殘差進(jìn)行編碼，或者使用所述殘差對當(dāng)前塊進(jìn)行解碼。本發(fā)明還涉及一種用于對幀進(jìn)行編碼或解碼的設(shè)備。所述設(shè)備包括用于根據(jù)對 幀進(jìn)行編碼或解碼的所述方法的實施例之一對所述幀進(jìn)行編碼或解碼的裝置。


在附圖中示出且在以下描述中更說明了本發(fā)明的示例實施例。在附圖中圖1示出了示例當(dāng)前圖像，所述示例當(dāng)前圖像具有示例第一塊和周圍的窗以及示 例第二塊和示例第三塊，圖2更詳細(xì)示出了窗，并示例性示出了所述窗內(nèi)的選定像素集合，圖3示出了水平濾波器組件更新方法的示例流程圖，圖4示出了垂直濾波器組件更新方法的示例流程圖，圖5示出了用于發(fā)射或廣播畫面數(shù)據(jù)的示例系統(tǒng)。
具體實施例方式本發(fā)明提出了運(yùn)行中適配在幀間編碼中使用的內(nèi)插濾波器。這種適配可以包括濾 波器參數(shù)數(shù)目、濾波器參數(shù)值和/或濾波器類型的適配。在運(yùn)行中適配允許用幾乎最優(yōu)內(nèi)插濾波器進(jìn)行一次編碼。幀間編碼中使用的內(nèi)插濾波器與參考畫面相關(guān)聯(lián)，或者涉及參考畫面。此外，幀間 編碼中使用的內(nèi)插濾波器與水平相位和/或垂直相位相關(guān)聯(lián)，或者涉及水平相位和/或垂 直相位。如果當(dāng)前幀的塊具有運(yùn)動矢量，所述運(yùn)動矢量的分?jǐn)?shù)像素分辨率(fractional pixel resolution)與所述特定水平和垂直相位相對應(yīng)并且參考所述特定參考畫面中的相 對位置，則在對所述塊進(jìn)行編碼或解碼時，使用與特定參考畫面以及特定水平和垂直相位 相關(guān)聯(lián)的內(nèi)插濾波器。使用內(nèi)插濾波器，從參考畫面中的參考區(qū)域產(chǎn)生內(nèi)插后的參考塊，所述參考 區(qū)域的位置由運(yùn)動矢量的相對位置信息來確定，所述參考區(qū)域的垂直和/或水平擴(kuò)展 (extension)由內(nèi)插濾波器的維數(shù)確定。即，利用所述內(nèi)插濾波器，通過對使用運(yùn)動矢量產(chǎn) 生的運(yùn)動補(bǔ)償像素進(jìn)行濾波，來確定內(nèi)插。在下文中，使用塊的運(yùn)動矢量向所述塊的位置移位的內(nèi)插后的參考塊被稱作運(yùn)動 補(bǔ)償塊。圖1示出了示例當(dāng)前圖像I⑶R，示例當(dāng)前圖像I⑶R具有示例第一塊FB、被窗WIN 包圍的示例第二塊SB以及示例第三塊TB。如果第一塊FB的第一運(yùn)動矢量首次參考給定參考畫面，則缺省濾波器用于確定 第一運(yùn)動補(bǔ)償塊。在示例編碼框架中，在第一塊FB與第一運(yùn)動補(bǔ)償塊之間確定第一殘差。例如通過離散余弦變換、快速傅里葉變換或小波變換來對所述第一殘差進(jìn)行變換。對變換后的殘差 進(jìn)行量化，并與第一運(yùn)動矢量一起編碼。此外，形成第一全重構(gòu)塊，包括對量化后的殘差進(jìn) 行去量化、逆變換以及與第一運(yùn)動補(bǔ)償塊相組合。在示例編碼框架中，在濾波器適配中使用 第一全重構(gòu)塊。在示例解碼框架中，從接收到的流中解碼出第一殘差。然后如在編碼框架中一樣 形成第一全重構(gòu)塊。在第一示例實施例中，在對第一塊FB進(jìn)行編碼或解碼之后，更新缺省濾波器。即， 使用不同的內(nèi)插濾波器候選產(chǎn)生多個不同的內(nèi)插后的參考塊。不同內(nèi)插濾波器候選的濾波 器類型和/或濾波器參數(shù)是不同的，但是均與缺省濾波器的水平和/或垂直相位相對應(yīng)。將不同的內(nèi)插后的參考塊中的每一個與第一全重構(gòu)塊相比較。將更新后的缺省濾 波器確定為獲得第一全重構(gòu)塊的最佳或最近近似的內(nèi)插濾波器。用于評價近似程度的適合 度量是例如被確定為均方差或平均絕對差的失真。如果對缺省濾波器的更新導(dǎo)致濾波器的顯著變化，則可以第二次對第一塊FB進(jìn) 行編碼，其中使用更新后的濾波器。第一塊FB的二次編碼伴隨著的優(yōu)點是允許簡單的缺省 濾波器。不利地，需要二次編碼。然后利用更新后的缺省濾波器對第二塊SB進(jìn)行編碼，所述第二塊SB具有參考與 更新后的缺省濾波器參考相同的參考幀以及相同的水平和/或垂直相位的運(yùn)動矢量。在對 所述第二塊SB進(jìn)行編碼或解碼之后，確定針對更新后的濾波器的另一次更新，這次基于所 述第二塊SB的第二全重構(gòu)塊。在第二示例實施例中，一旦要對所述第二塊SB進(jìn)行編碼或解碼，就更新缺省濾波器。在第二示例實施例中，使用不同內(nèi)插濾波器候選，來產(chǎn)生內(nèi)插后的參考像素集合， 所述不同內(nèi)插濾波器候選的濾波器類型和/或濾波器參數(shù)不同，但均與缺省濾波器的水平 相位和/或垂直相位相對應(yīng)。在下文中，借助于圖2來說明內(nèi)插后的參考像素集合的形成。在圍繞或鄰近第二塊SB的窗WIN中，確定全重構(gòu)像素的集合PS，該集合包括已經(jīng) 使用運(yùn)動矢量而編碼或解碼的像素的全重構(gòu)，所述運(yùn)動矢量與第二塊SB的運(yùn)動矢量具有 相同的水平和/或垂直相位且參考相同的參考畫面。集合PS更加受限于已使用進(jìn)一步參 考相同參考畫面中的相同相對位置的運(yùn)動矢量而編碼或解碼像素。窗WIN可以包括已編碼或解碼的所有像素，或者僅包括所述已編碼或解碼像素中 的一些。為了所確定的全重構(gòu)像素的集合PS，使用不同的內(nèi)插濾波器候選，來產(chǎn)生多個不 同的內(nèi)插后的參考像素集合。不同的內(nèi)插濾波器候選的濾波器類型和/或濾波器參數(shù)是不 同的，但是如第一示例實施例中一樣，均與缺省濾波器的水平和/或垂直相位相對應(yīng)。將不同的內(nèi)插后的參考像素集合中的每一個與全重構(gòu)像素的集合PS相比較。將 更新后的缺省濾波器確定為相對于濾波器候選集合獲得最優(yōu)質(zhì)量的內(nèi)插濾波器。質(zhì)量的度 量(即，所實現(xiàn)的近似程度)例如可以基于與全重構(gòu)像素的集合PS相比較而言的失真?？?以使用例如均方差或平均絕對差來確定所述近似程度。所確定的全重構(gòu)像素的集合PS可以是由于以下事實而為空已編碼或解碼的像素并不是使用與第二塊SB的運(yùn)動矢量具有相同水平和垂直相位且參考相同參考畫面的運(yùn) 動矢量來編碼或解碼的。或者，還沒有對當(dāng)前幀的單個像素進(jìn)行編碼或解碼。然后，濾波器保持不變。一旦要對第三塊TB進(jìn)行編碼或解碼，則再次更新更新后的缺省濾波器，所述第三 塊TB具有與更新后的缺省濾波器參考相同的參考幀和相同的水平和/或垂直相位的運(yùn)動矢量。從而，根據(jù)位于應(yīng)當(dāng)應(yīng)用適配后的濾波器的塊附近的畫面內(nèi)容的內(nèi)插要求，來反 復(fù)適配濾波器。使用當(dāng)前畫面的使用其參考畫面來處理的至少一部分的重構(gòu)信號，在編碼器側(cè)和 解碼器側(cè)處均執(zhí)行相同濾波器適配。自適應(yīng)內(nèi)插濾波器的不同集合可以與每個參考畫面相 關(guān)聯(lián)。因此，不需要對這些濾波器進(jìn)行編碼，這節(jié)省了帶寬。此外，內(nèi)插濾波器更適于局部 畫面內(nèi)容。濾波器更新—般選擇最優(yōu)化的內(nèi)插濾波器作為使失真度量最小化的濾波器，失真度量評價全 重構(gòu)畫面與運(yùn)動補(bǔ)償畫面之間超過所考慮的承受能力(support)(根據(jù)選定的示例實施 例，剛剛編碼的(just encoded)塊或全重構(gòu)像素的集合PS)的差異?？梢允褂枚喾N不同的內(nèi)插方法中的一個或多個，例如中值內(nèi)插、線性或雙線性內(nèi) 插、雙三次內(nèi)插或基于梯度的內(nèi)插。對于每種可參數(shù)化的內(nèi)插方法候選類型，在所述內(nèi)插方法候選類型的可能參數(shù)化 之中，確定使失真最小化的最優(yōu)參數(shù)化。對于每種非可參數(shù)化的內(nèi)插方法候選，還確定失真度量。在確定的失真之中，確定最小失真。然后選擇與確定的失真之中最小失真相對應(yīng) 的內(nèi)插方法候選(如果可以利用參數(shù)化)。在另一示例實施例中，濾波器更新包括在內(nèi)插方法候選的有限集合之中進(jìn)行選 擇。例如，內(nèi)插方法候選可以限于線性內(nèi)插濾波器，并且更新可以限于對最優(yōu)化(即，失真 度量最小化)的系數(shù)的確定。線性內(nèi)插濾波器參考參考畫面IREF的線性內(nèi)插濾波器的集合包括MXM多相線性濾波器Hikef,px,py， 其中，ρχ = 0. · ·Μ-1，py = 0. · ·Μ-1。MXM多相線性濾波器Hikef,px,py中的每一個是包含線 性濾波系數(shù)的2D矩陣PX Q。如果Hikef,px,py是可分離的，則可以被寫成F腳,px*GIKEF,py，其中，F(xiàn)ieefjpx和(iIKEF,py是 分別具有可調(diào)整參數(shù)P、Q的ID矩陣。那么，可以將濾波器更新過程分成更新Fikef,px和更新(iIKEF,py。如圖3所示更新Fikef,px的過程以三個步驟進(jìn)行操作1.相鄰適合像素的識別IDHPL ；2.垂直信號內(nèi)插VINPL ；3.濾波器確定HUPDT。以下更詳細(xì)描述這三個步驟1.步驟IDHPL。在鄰近或圍繞要利用水平相位px編碼或解碼的塊的窗WIN內(nèi)，確定像素集合PS，該集合屬于使用參考畫面Ikef且利用具有水平相位px的運(yùn)動矢量來幀間編 碼的塊。對應(yīng)于所述像素集合PS，在參考畫面Ikef中存在參考像素集合。使用所述參考像 素集合，在空白畫面中完全重構(gòu)所述像素集合PS中的像素，從而在還沒有進(jìn)行全重構(gòu)的情 況下獲得所謂的全重構(gòu)畫面I·。全重構(gòu)畫面不必須指的是所有像素都被重構(gòu)的畫面，而是 指所重構(gòu)的像素是被完全重構(gòu)的畫面。2.步驟VINPL。使用與要內(nèi)插的像素的垂直相位相對應(yīng)的垂直濾波器(iIKEF, pz，對 參考像素集合進(jìn)行垂直內(nèi)插。然后將垂直內(nèi)插的像素分別放置在空白或空畫面中相應(yīng)全重 構(gòu)像素的位置處。這獲得所謂的垂直運(yùn)動補(bǔ)償畫面IVCTt。3.步驟HUPDT。使用以下公式對垂直運(yùn)動補(bǔ)償畫面IVCTt進(jìn)一步進(jìn)行水平內(nèi)插Ti^f(x,y) = Oire^px +^FIREF>px(k)*Ivert(x-Dx + k-[P/2],y)。
k=0其中，Dx是像素(x，y)處水平運(yùn)動矢量分量的整數(shù)部分，[.]返回其自變量的整 數(shù)部分。所包括的偏移Oikef,^考慮照明變化。偏移Oikef,px可以是零。在這種情況下，得出\hEF (x, y)=玄 Firefpx (k) * Ivert (x-Dx + k-[P/2],y)
k=0均方分辨率在于，計算使以下能量函數(shù)最小化的Fikef,px ZW(x5y)-ftF(x5y))2
(x.y)ePS這獲得P方程的線性系統(tǒng)的典型分辨率，其中，P未知，一個或多個方程可以反映 歸一化約束。更新(}IKEF,py的過程相應(yīng)地如圖4所示進(jìn)行操作1.步驟IDVPL。在鄰近或圍繞要利用垂直相位py編碼或解碼的塊的窗WIN內(nèi)，確 定另一像素集合PS，該另一像素集合PS屬于使用參考畫面Ikef且利用具有垂直相位py的 運(yùn)動矢量進(jìn)行幀間編碼的塊。對應(yīng)于所述另一像素集合PS，在參考畫面Ikef中存在另一參 考像素集合。使用所述另一參考像素集合，在空白畫面中完全重構(gòu)所述另一像素集合中的 像素，獲得所謂的另一全重構(gòu)畫面。同樣，另一全重構(gòu)畫面不必指全部重構(gòu)的畫面，而是指 所重構(gòu)的像素是被完全重構(gòu)的畫面。2.步驟HINPL。使用與要內(nèi)插的像素的水平相位相對應(yīng)的水平濾波器Fikef, pz (可 以被更新)，對另一參考像素集合進(jìn)行水平內(nèi)插。然后將水平內(nèi)插的像素分別放置在空白或 空畫面中相應(yīng)全重構(gòu)像素的位置處。這獲得所謂的水平運(yùn)動補(bǔ)償畫面IHQKZ。3.步驟VUPDT。使用以下公式對水平運(yùn)動補(bǔ)償畫面Ihqi 進(jìn)一步進(jìn)行垂直內(nèi)插
QIvref(χ,y) = Oiref w + ΣGiREF,py(0*Ihorz(x,y ~Dy+ 1-[Q/2])。
1=0其中，Dx是像素(X，y)處垂直運(yùn)動矢量分量的整數(shù)部分，所包括的垂直偏移Oikef, py可以是零。均方分辨率在于，計算使以下能量函數(shù)最小化的(iIKEF,px Σ ^1REC (χ' y) ~ iRef (χ> y))2
(x’y)eE這獲得Q方程的線性系統(tǒng)的典型分辨率，其中，Q未知，一個或多個方程可以反映歸一化約束。水平更新限于要由具有垂直相位py = 0的運(yùn)動矢量來編碼或解碼的塊。垂直更 新可以限于要由具有水平相位PX = O的運(yùn)動矢量來編碼或解碼的塊。信噪比(SNR)和空 間可縮放視頻編碼(SVC)是引入了空時和質(zhì)量可縮放性的分層視頻編碼方案。在SVC方案 內(nèi)，較高或增強(qiáng)層的當(dāng)前塊的運(yùn)動補(bǔ)償可以利用子像素濾波器，該子像素濾波器可從較低 層或基本層中同一位置的塊獲得或是針對該塊而確定的。在SNR可縮放性的情況下，如果同一位置的較低層塊與當(dāng)前塊包含相同的子像素 矢量，則針對較低層塊定義的子像素濾波器可以用于增強(qiáng)層塊。在空間可縮放性的情況下，如果當(dāng)前子像素矢量與同一位置的塊中所包含的子 像素矢量之一相對應(yīng)，則相同子像素濾波器可以分別用于2*子像素分辨率(僅針對二元 (dyadic)空間 svc)，例如四分之一像素濾波器_> 二分之一子像素濾波器，一高度(one heighth)像素濾波器_>四分之一像素濾波器...在圖5所示的示例實施例中，在廣播或發(fā)射端BE的編碼器ENC中包含的相應(yīng)濾波 器適配設(shè)備FAD中，以及在接收端的解碼器DEC中包含的相同類型和參數(shù)設(shè)置的相應(yīng)濾波 器適配設(shè)備FAD中，以相同方式在運(yùn)行中適配內(nèi)插濾波器。那么，經(jīng)由連接CON(可以是有 線連接或無線連接)來廣播或傳輸濾波參數(shù)變得過時。本發(fā)明具有以下優(yōu)點通過內(nèi)聯(lián)(inline)確定或更新內(nèi)插濾波器，實現(xiàn)這些濾波器的局部適配。通過避免傳輸濾波器系數(shù)，節(jié)省了專用于相應(yīng)輔助信息比特的帶寬，潛在地獲得 了編碼效率的提高。以及，通過避免二次編碼處理，實現(xiàn)了編碼器復(fù)雜度的降低。本發(fā)明適用于涉及視頻壓縮的任何框架。本發(fā)明尤其適合但不限于關(guān)于高分辨率 視頻的低比特率應(yīng)用，例如，用于移動電話的HD和類似于HD等的超分辨率視頻應(yīng)用等等。
10
權(quán)利要求
1.一種確定用于對幀的一個或多個像素進(jìn)行內(nèi)插的濾波器的方法，所述方法包括以下 步驟-確定所述幀的其余部分中的其他像素，其中，與所述其他像素相關(guān)聯(lián)的運(yùn)動矢量和與 所述像素相關(guān)聯(lián)的另一運(yùn)動矢量參考相同的參考幀、相同的水平相位和/或相同的垂直相 位；以及-基于所述其他像素確定濾波器，其中，-確定所述濾波器，使得所述其他像素的內(nèi)插的質(zhì)量達(dá)到或超過使用包括在濾波器候 選集合中的不同濾波器候選之一可確定的所述其他像素的任何其他內(nèi)插的質(zhì)量，其中所述 內(nèi)插使用所確定的濾波器來確定。
2.根據(jù)權(quán)利要求1所述的方法，其中-所述不同濾波器候選的濾波器類型、濾波參數(shù)的數(shù)目、和/或分配給濾波參數(shù)的值是 不同的。
3.根據(jù)權(quán)利要求2所述的方法，其中-所述濾波器類型是中值內(nèi)插、線性內(nèi)插、雙線性內(nèi)插、雙三次內(nèi)插以及基于梯度的內(nèi) 插中的一個。
4.根據(jù)前述權(quán)利要求中任一項所述的方法，其中-所述不同濾波器候選與所述參考幀、所述水平相位和/或所述垂直相位相關(guān)聯(lián)。
5.根據(jù)權(quán)利要求4所述的方法，其中-所述濾波器候選包括與所述水平相位和/或所述垂直相位相關(guān)聯(lián)的偏移。
6.根據(jù)權(quán)利要求4或5所述的方法，其中 -所述濾波器候選是一維的，-所確定的濾波器是一維濾波器，并且所述方法還包括-通過將所確定的一維濾波器與另一一維濾波器相組合，來確定二維濾波器。
7.根據(jù)權(quán)利要求6所述的方法，其中-所確定的一維濾波器和所述另一一維濾波器中，一個是垂直濾波器，而另一個是水平 濾波器。
8.根據(jù)權(quán)利要求6或7所述的方法，其中-利用根據(jù)權(quán)利要求6或7所述的方法，確定所述另一一維濾波器。
9.根據(jù)前述權(quán)利要求中任一項權(quán)利要求所述的方法，其中-將所述其他像素的內(nèi)插的質(zhì)量確定為所述其他像素的所述內(nèi)插與所述其他像素的全 重構(gòu)之間的均方差或平均絕對差，以及-確定濾波器包括在針對所述其他像素的不同內(nèi)插而確定的多個質(zhì)量之中確定最優(yōu)質(zhì)量。
10.一種在空間和/或信噪比可縮放視頻編碼框架中確定用于對與運(yùn)動矢量相關(guān)聯(lián)的 增強(qiáng)層塊進(jìn)行內(nèi)插的濾波器的方法，所述方法包括以下步驟-確定協(xié)同定位的低層塊是否與具有相同的分別相應(yīng)精度的相應(yīng)運(yùn)動矢量相關(guān)聯(lián)，其 中，所述相應(yīng)運(yùn)動矢量具有與所述運(yùn)動矢量共同的至少一個運(yùn)動參數(shù)，以及-如果是，則將濾波器確定為在所述協(xié)同定位的低層塊的內(nèi)插中使用的低層濾波器，以及-否則，利用根據(jù)權(quán)利要求1-9之一所述的方法，來確定增強(qiáng)層內(nèi)的濾波器。
11.一種對幀進(jìn)行編碼或解碼的方法，所述方法包括 -將運(yùn)動矢量與所述幀的當(dāng)前塊的像素相關(guān)聯(lián)；以及-使用另一運(yùn)動矢量和根據(jù)權(quán)利要求1-10之一而確定的濾波器，來確定所述當(dāng)前塊的 像素的內(nèi)插。
12.根據(jù)權(quán)利要求11所述的方法，其中-針對根據(jù)權(quán)利要求1-10之一的濾波器確定而確定的所述其他像素包括在所述幀的 一個或多個其他塊中，所述其他塊是已經(jīng)借助于所述運(yùn)動矢量而編碼的或解碼的。
13.根據(jù)權(quán)利要求12所述的方法，其中-所述其他塊包括在與所述當(dāng)前塊鄰近的窗中。
14.根據(jù)權(quán)利要求11-13之一所述的方法，所述方法還包括 -確定當(dāng)前塊的殘差；以及-對殘差進(jìn)行編碼，或者借助于所述殘差對當(dāng)前塊進(jìn)行解碼。
15.一種用于對幀進(jìn)行編碼或解碼的設(shè)備，所述設(shè)備包括-用于通過執(zhí)行根據(jù)權(quán)利要求11-14之一所述的方法來對幀進(jìn)行編碼或解碼的裝置。
全文摘要
本發(fā)明涉及一種確定用于對包括在幀中的一個或多個像素進(jìn)行內(nèi)插的濾波器的方法。所提出的方法包括以下步驟基于幀的其余部分中的其他像素來確定濾波器，其中，與所述像素相關(guān)聯(lián)的運(yùn)動矢量具有與所述其他像素相關(guān)聯(lián)的另一運(yùn)動矢量共同的至少一個運(yùn)動參數(shù)；以及確定所述濾波器，使得所述其他像素的內(nèi)插的質(zhì)量達(dá)到或超過借助于包括在濾波器候選集合中的不同濾波器候選之一可確定的所述其他像素的任何其他內(nèi)插的質(zhì)量，其中所述內(nèi)插借助于所確定的濾波器來確定。在僅基于相同幀的不同的其他像素確定濾波器時，確定用于內(nèi)插的濾波器的所述方法允許實現(xiàn)單次編碼框架。
文檔編號H04N7/36GK102067604SQ200980122960
公開日2011年5月18日 申請日期2009年5月11日 優(yōu)先權(quán)日2008年6月19日
發(fā)明者多米尼克·托羅, 奧瑞利·馬丁, 熱羅姆·維耶龍, 愛德華·弗朗索瓦 申請人:湯姆森許可貿(mào)易公司