專利名稱：縮放運動估計的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及數(shù)字視頻處理，特別涉及數(shù)字視頻編碼和解碼的運動估計。

背景技術(shù)：
數(shù)字視頻是由幀構(gòu)成。每個幀就是一個瞬時快照。為了傳送視頻，如果視頻是一幀接一幀地進行傳輸，將涉及大量的數(shù)據(jù)，并花費較長的時間。
由于每個相鄰幀可能是一個移動物體的畫面快照，它們有很多相似性。在解碼端，如果一個幀可以由其相鄰幀而重建，而不需要傳輸其本身，那么就只需要較少的數(shù)據(jù)。
為了能夠從其相鄰幀而重建一個幀，通常需要的是該幀及其相鄰幀之間的差異。換言之，需要的是幀內(nèi)快照的運動?？赡艿倪\動包括平移、縮放、旋轉(zhuǎn)、和變換。這種差異或這種運動由運動矢量來表示。這種差異或這種運動的確定過程即是運動估計。基于運動估計的重建即是運動補償預(yù)測。
幀的基本元素是像素。運動是以像素級而進行估計的。例如，畫面里的物體向左移動一個像素。但是，也有可能運動是子像素級的，從而有子像素運動估計，其將運動估計的精度提高到子像素級。
發(fā)明概述 本發(fā)明范例的各個方面將在權(quán)利要求里進行闡述。
大多數(shù)現(xiàn)有的和實用的運動補償預(yù)測技術(shù)都假設(shè)在視頻內(nèi)容里是純粹的平移運動以便進行有效運算?？s放運動，即縮小和放大，總是被忽略。
即使有可能在進行運動估計時考慮縮放運動，例如，使用高階運動模型，其包括平移、旋轉(zhuǎn)和縮放運動，但由于復雜程度較高而不太實用。高階運動模型包括諸如仿射、透視、多項式和彈性模型。所有這些高階運動模型都需要進行仿射參數(shù)估計，但在實際應(yīng)用里，其高復雜性限制了這些高階運動模型的使用。
除了計算的復雜程度較高，如果這些高階運動模型被用來產(chǎn)生多個基準幀作為運動補償預(yù)測候選幀，其仿真平移運動和縮放運動，將會出現(xiàn)另一個問題，即需要大型存儲器或緩沖器來存儲這些基準幀。結(jié)果，這種對大型存儲器的要求使得使用高階運動模型來產(chǎn)生多個基準幀的方法在實際應(yīng)用中不太可行。
至于本發(fā)明，除其它運動類型之外，運動估計考慮了縮放運動通過在抽樣內(nèi)插幀上進行匹配，實施運動估計，抽樣內(nèi)插幀是在傳統(tǒng)混合視頻編碼結(jié)構(gòu)上進行子像素運動估計而產(chǎn)生的。在區(qū)塊匹配里專門設(shè)計的抽樣模式被用來實現(xiàn)平移和縮放運動估計和補償。因此，在編碼器實施里不需要縮放參數(shù)估計和額外的幀緩沖器。解碼器的復雜性類似于支持子像素運動補償?shù)膫鹘y(tǒng)混合視頻編解碼器。對存儲器的要求和計算復雜性較低，使得本發(fā)明能夠提供一個實用的解決方案。
通過合并平移和縮放運動分量，結(jié)果運動補償能夠有效地處理更多的實際運動。此外，基于子像素運動估計的內(nèi)插幀，進行區(qū)塊匹配，更普通的運動模型可以被輕易且有效地應(yīng)用在現(xiàn)有的視頻編碼架構(gòu)內(nèi)。
本應(yīng)用提供一個不需要仿射參數(shù)估計和不需要存儲其他基準幀的額外存儲器的發(fā)明。使用子像素運動估計內(nèi)插值，預(yù)設(shè)縮放參數(shù)。從而輔助信息達到最小。
利用高級視頻編碼標準如MPEG-4和H.264/AVC，采用子像素運動估計。因此，在許多商用視頻編碼標準里，內(nèi)插幀是容易獲得的，其提供如下的優(yōu)勢第一，不需要額外存儲器來存儲縮放基準幀；第二，容易將本應(yīng)用里的發(fā)明整合到商用視頻編碼標準里。
依照本發(fā)明的典型實施例，提供一個方法和一個裝置，其以一個或多個選擇的抽樣率抽樣一個內(nèi)插幀來產(chǎn)生一個或多個縮放基準幀；將一個幀與縮放基準幀進行匹配；和確定一個或多個運動數(shù)據(jù)。



將參照以下附圖，詳細描述本發(fā)明的其它目的、方面和實施例，其中 圖1是顯示本發(fā)明典型實施例的一個方法的流程圖； 圖2A描述一個典型實施例的一個內(nèi)插幀的一部分； 圖2B描述依照一個典型實施例如何進行匹配； 圖3A到3C描述依照本發(fā)明的非限制性實施例以圖1的不同的所選抽樣率進行抽樣的一個典型應(yīng)用。
圖4A到4C描述依照本發(fā)明的非限制性實施例的基準幀的一個典型應(yīng)用。
圖5是適合使用本發(fā)明典型實施例的一個裝置的簡化模塊圖； 圖6是描述本發(fā)明的一個典型實施例可以用于一個典型編碼器系統(tǒng)里的模塊圖。
圖7是描述本發(fā)明的一個典型實施例可以用于一個典型解碼器系統(tǒng)里的模塊圖。
發(fā)明詳述 通過參照附圖1到3，將會理解本發(fā)明的典型實施例及其潛在優(yōu)勢。
圖1是顯示本發(fā)明典型實施例的一個方法的流程圖。以下步驟/過程/運算將被執(zhí)行(模塊110)以一個或多個選擇的抽樣率抽樣一個內(nèi)插幀以產(chǎn)生一個或多個縮放基準幀；(模塊120)將一個幀與縮放基準幀進行匹配；和(模塊130)確定運動數(shù)據(jù)。
依照一個典型實施例，內(nèi)插幀可以由但不限于任何插補幀技術(shù)來生成，插補的幀將被至少一個其它幀引用。另外，內(nèi)插因子(interpolationfactor)不限于任何數(shù)目。內(nèi)插是基于一個幀內(nèi)相鄰像素上的數(shù)值而近似估計像素的顏色和強度。如果內(nèi)插因子是S，則幀的尺寸在水平和垂直方向上將被放大S倍，例如，一個2×2的幀將變成一個2S×2S的幀。通常，有兩類算法來執(zhí)行插值法，即自適應(yīng)和非自適應(yīng)。自適應(yīng)算法(adaptivealgorithm)讓插值隨著它們插補邊緣或平滑紋理而變化。自適應(yīng)算法包括使用概率神經(jīng)網(wǎng)絡(luò)、非線性四階方法等。非自適應(yīng)算法(non-adaptivealgorithm)平等對待所有的像素，不管是邊緣銳利或紋理平滑。非自適應(yīng)算法包括近鄰法(nearest neighbor)、雙線性法(bilinear)、雙三次法(bicubic)、樣條法(spline)、sinc法、lanczos法等。其中一些是高階插值，如spline和sinc，由此保留大部分的圖像信息，因為考慮了較多的相鄰像素。但是，考慮相鄰像素越多，插值的計算強度就越大。在一個優(yōu)選實施例里，例如在H.264的例子里，通過使用維納(Wiener)而設(shè)計了內(nèi)插濾波器(interpolation filter)，使得最有效的濾波器核心是基于統(tǒng)計結(jié)果來確定的。
依照一個典型實施例，內(nèi)插幀是由子像素運動估計提供，子像素運動估計已經(jīng)用于高級視頻編碼標準如MPEG-4和H.264/AVC。對于子像素運動估計，具有子像素精度的運動估計是通過插值法得以實現(xiàn)的。因此，內(nèi)插幀是通過子像素運動估計提供，不需要其他過程。
圖2A描述一個典型實施例的一個內(nèi)插幀的一部分。在圖2A內(nèi)，圓點，如點210，表示基準幀的原始像素。在另一個實施例里，點210表示緣由基準幀的像素，其已經(jīng)通過圖像處理技術(shù)如低通濾波進行處理過，這些像素也被看作是處理過的像素。在插值之后，內(nèi)插像素就從原始像素或處理像素而產(chǎn)生了，三角點如點220表示內(nèi)插像素。在此例子里，內(nèi)插因子是4，從而原始基準幀的尺寸被放大4倍，意味著每個1×1的像素被內(nèi)插像素填補而變成一個4×4的區(qū)塊。
在子像素運動估計的例子里，子像素運動估計的子像素精度和內(nèi)插因子之間的關(guān)系是1/S-像素的精度需要一個內(nèi)插因子S。因此，對1/S-像素精度的運動估計，具有內(nèi)插因子S的內(nèi)插幀是容易獲得的。
圖2B描述一個典型實施例的如何進行匹配。匹配是為當前幀找到基準幀內(nèi)最匹配區(qū)塊。當前幀是一個將由一個或多個基準幀和運動數(shù)據(jù)來表示的幀。當前幀被分成任意尺寸的區(qū)塊，如4×4，8×8，16×16，32×32，64×64，4×8，8×4，16×8，或8×16。區(qū)塊尺寸在整個幀內(nèi)可以是固定的，也可以根據(jù)在幀內(nèi)的移動區(qū)域是可變的。在此例子里，區(qū)塊尺寸是4×4，匹配的完成是通過比較當前幀的每個區(qū)塊(圖中未顯示)，如區(qū)塊230，和基準幀的每個區(qū)塊(圖中未顯示)，如區(qū)塊240。如果區(qū)塊尺寸是可變的，例如在具有可變區(qū)塊尺寸特征的H.264的例子里，選擇區(qū)塊尺寸(模式選擇)是通過率失真優(yōu)化(rate-distortion optimization)來確定的。本發(fā)明的一個方面是對每個模式提供一個更準確的運動補償預(yù)測。
匹配是在不同區(qū)塊內(nèi)逐個像素地比較像素值，如強度值。區(qū)塊230內(nèi)的每個黑圓點將與區(qū)塊240內(nèi)的每個黑三角點進行比較。通常，比較可以通過任何算法完成，不限于平方差值和(SSD)、絕對差值和(SAD)、或變換絕對差值和(SATD)。在此例子里，計算區(qū)塊230內(nèi)的每個像素的強度值和區(qū)塊240內(nèi)的每個像素的強度值之間的絕對差，然后加總而獲得一個絕對差的和。最佳匹配是通過在基準幀內(nèi)進行搜索而確定，當與當前幀內(nèi)的區(qū)塊230進行比較時，沿著水平和垂直軸移位子像素位置來找出一個具有最小絕對差值和的區(qū)塊。
設(shè)定

是時間和空間上初始連續(xù)的動態(tài)畫面，視頻序列fn(s)是在時間和空間上依照Nyquist準則進行抽樣之后的畫面。則意味著對整數(shù)格點位置，F(xiàn)n(s)＝fn(s)，s∈Z2。在進行子像素匹配時，運動數(shù)據(jù)的一個例子，運動矢量被確定如下 其中

不限于是整數(shù)矢量分量。實際上，在子像素精度位置

上的像素值可以由

的插值獲得以達到更高的預(yù)測性能。
假設(shè)區(qū)塊240是最佳匹配的區(qū)塊，那么運動矢量是(13/4，21/4)，其是指最佳匹配區(qū)塊240和當前區(qū)塊230之間的水平軸位移等于13/4，而最佳匹配區(qū)塊240和當前區(qū)塊230之間的垂直軸位移等于21/4。
圖3A到3C描述本發(fā)明非限制性實施例的以圖1的選擇的不同抽樣率進行內(nèi)插幀抽樣的典型應(yīng)用。為了產(chǎn)生縮放基準幀用于仿真縮小和放大運動，匹配是以選擇的抽樣率進行內(nèi)插幀抽樣的方式來實施。縮放因子是指內(nèi)插因子S除以抽樣率，并且縮放因子確定縮放基準幀是表示一個縮小運動還是表示一個放大運動。如果縮放因子小于1，縮放基準幀是一個有放大運動的基準幀。如果縮放因子大于1，縮放基準幀是一個有縮小運動的基準幀。如果縮放因子等于1，縮放基準幀是一個沒有任何縮放運動的基準幀。
圖3A顯示一個典型實施例的區(qū)塊尺寸等于4×4和抽樣率等于1。換言之，在水平和垂直方向上以每1個子像素的速率進行抽樣。在4×4個像素被抽樣之后，產(chǎn)生4×4基準區(qū)塊。按照位置標識，在(x，y)，(x+1n，y)，(x，y+1n)，(x+1n，y+1n)上的像素被抽樣，其中n是一個從1到3的整數(shù)。在基準區(qū)塊315里，被抽樣的像素是由黑點表示?；鶞蕝^(qū)塊315與當前區(qū)塊310內(nèi)的黑點進行比較。在此例子里，縮放因子等于4，從而通過抽樣內(nèi)插幀而產(chǎn)生的縮放基準幀就表示一個縮小運動。
圖3B顯示一個典型實施例的區(qū)塊尺寸等于4×4和抽樣率等于3。換言之，在水平和垂直方向上以每3個子像素的速率進行抽樣。在4×4個像素被抽樣之后，產(chǎn)生4×4的基準區(qū)塊。按照位置標識，在(x，y)，(x+3n，y)，(x，y+3n)，(x+3n，y+3n)上的像素被抽樣，其中n是一個從1到3的整數(shù)。在基準區(qū)塊325里，被抽樣的像素是由黑點表示?；鶞蕝^(qū)塊325與當前區(qū)塊320里的黑點進行比較。在此例子里，縮放因子等于4/3，從而通過抽樣內(nèi)插幀而產(chǎn)生的縮放基準幀就表示一個縮小運動。
圖3C顯示一個典型實施例的區(qū)塊尺寸等于4×4和抽樣率等于5。換言之，在水平和垂直方向上以每5個子像素的速率進行抽樣。在4×4個像素被抽樣之后，產(chǎn)生4×4的基準區(qū)塊。按照位置指址，在(x，y)，(x+5n，y)，(x，y+5n)，(x+5n，y+5n)上的像素被抽樣，其中n是一個從1到3的整數(shù)。在基準區(qū)塊335里，被抽樣的像素是由黑點表示?；鶞蕝^(qū)塊335與當前區(qū)塊330里的黑點進行比較。在此例子里，縮放因子等于4/5，從而通過抽樣內(nèi)插幀而產(chǎn)生的縮放基準幀就表示一個放大運動。
通常，一個臨時基準幀可以通過一個內(nèi)插因子S進行插值，其不需要是子像素運動估計精度。但是，假如內(nèi)插因子S等于子像素運動估計精度，并且已經(jīng)通過子像素運動估計進行插值，那么不需要重復進行插值，隨時都有內(nèi)插幀。此外，對子像素運動估計，內(nèi)插幀有最大的分辨率，其在水平和垂直尺寸上比原始的臨時基準幀大S倍。此內(nèi)插幀可以被看作是一個具有縮放因子S的縮小幀。然后，一組更低分辨率的幀能夠以不同抽樣率從最大分辨率的幀而獲得。對縮放應(yīng)用，相同的抽樣率被施加到水平和垂直尺寸。因此，得出的一組縮放基準幀的相應(yīng)水平或垂直分辨率的范圍是從S到S/M，可能的縮放因子由以下提供{S/1，S/2，S/3，...，S/j，...，S/M}(2) 其中j是抽樣率，而M是最大抽樣率。對j＜S，縮放基準幀是縮小幀。對j＞S，縮放基準幀是放大幀。在一個優(yōu)選實施例里，不需要使用等式(2)提供的所有縮放因子，因為這將產(chǎn)生沉重的負擔給運動估計。期望有一個更小范圍的縮放因子而獲得更好的預(yù)測效果，特別是由于對一個具有連續(xù)運動的視頻序列在一個短時間周期內(nèi)縮放因子將不會有很大變化。對一個給定數(shù)字N1縮小因子和N2放大因子，我們應(yīng)該選擇以下組的縮放因子 如果子像素運動估計精度是1/s-像素，設(shè)置S＝s，最大分辨率的縮小幀將是在水平和垂直方向上具有s倍的分辨率。對1/4-像素運動估計里的例子，可以選擇S＝s＝4。如果縮小和放大因子的數(shù)字被選擇是2(N1＝N2＝2)，基于等式(3)，縮放因子的推薦組合是{2，4/3，1，4/5，2/3}(4) 通常，一個臨時基準幀可以通過一個因子S進行插值，其可能與子像素運動估計精度相同，也可能不同。其中選擇的抽樣率大約是非縮放抽樣率以及額外兩個縮小和兩個放大級別。
圖4A到4C描述本發(fā)明非限制性實施例的基準幀的典型使用。圖4A顯示僅使用臨時基準幀415來編碼當前幀410。產(chǎn)生臨時基準幀415就是用來逼近視頻里其它瞬時上的幀，用于進行運動預(yù)測。圖4B顯示僅使用縮放基準幀425來編碼當前幀420。該縮放基準幀425就是用來逼近縮放運動用于進行運動預(yù)測而產(chǎn)生的幀。各種縮放因子被用來產(chǎn)生表示縮小和放大運動的縮放基準幀425。圖4C顯示使用縮放基準幀432和臨時基準幀431來編碼當前幀430。對一個或多個臨時基準幀431，產(chǎn)生縮放基準幀432。產(chǎn)生的縮放基準幀越多，計算復雜性將會越高。
在本發(fā)明的另一個實施例里，為了與H.264/AVC集成在一起，由空間位移、基準幀和縮放因子組成的運動矢量需要進行編碼，然后被傳輸?shù)浇獯a器。作為一個典型實施例，縮放因子被編碼為一個獨立參數(shù)，類似于在H.264里的基準幀數(shù)目。
由于縮放因子被看作是縮放幀的選擇，縮放因子與基準幀數(shù)目可以嵌在一起，使得比特流句法與H.264相同，但是有不同含義的基準幀參數(shù)。例如，通過將基準幀數(shù)目偏移16，如以下表1所示，縮放參數(shù)與基準幀數(shù)目集成在一起，以獲得一個新的基準幀參數(shù)。編碼器和解碼器從這個新的基準幀參數(shù)提取出基準幀數(shù)目和縮放參數(shù)。在這個例子里，通過將基準幀數(shù)目偏移16，將縮放參數(shù)與基準幀數(shù)目集成在一起，當然也不限于16，也可以使用任何其它數(shù)值作為一個偏移。偏移值的確定取決于各種視頻編碼標準之間不同的非縮放基準幀的范圍。
表1利用集成的縮放因子信息而產(chǎn)生新基準幀參數(shù)
在H.264/AVC里，率失真優(yōu)化運動搜索是通過最小化Lagrangian成本函數(shù)來實施 其中λmotion是在H.264/AVC里使用的運動搜索的Lagrangian乘子，而R(a，m，v)是與一個特別選用的運動矢量有關(guān)的比特率。每個區(qū)塊模式(各個子區(qū)塊尺寸的幀間模式、幀內(nèi)模式等)的運動矢量(a，m，v)是具有最低Lagrangian成本的那個模式。
另外，在諸如H.264/AVC的混和視頻編碼系統(tǒng)里，內(nèi)插幀是以這樣的方式產(chǎn)生，即內(nèi)插幀的半樣本位置是通過水平和垂直地施加一個一維6抽頭的FIR濾波器獲得。在1/4-樣本、1/8-樣本等上的像素值是通過整數(shù)-和半-樣本位置的雙線性插值而產(chǎn)生。
同樣注意到，當增加時間基準幀的時間窗口時考慮增加縮放基準幀，縮放幀指數(shù)與H.264/AVC比特流的幀數(shù)目參數(shù)嵌在一起，并且有必要確保臨時基準幀和縮放基準幀的和不應(yīng)該超出H.264/AVC支持的基準幀的最大數(shù)目。
例如，通過將原始幀數(shù)目偏移{0，16，32，48，64}，基準幀的縮放因子可以被嵌入到幀數(shù)目，以分別表示基準幀的縮放參數(shù){0，1，2，3，4}符合H.264/AVC，其通常支持高達16個基準幀，并允許添加新的參數(shù)，而不會改變比特流的句法。例如，如果實施本發(fā)明到H.264/AVC的1/8-子像素運動估計精度(S＝s＝8)，有兩個縮放幀，每個縮小和放大因子N1＝N2＝2，然后基于等式(3)，將使用以下組合的縮放因子{4/3，8/7，1，8/9，4/5}(6) 為了利用偏移基準幀的縮放參數(shù)來表示這些縮放因子，這些實際的縮放因子在編解碼器里很難被編碼，如表2所示表2在一個典型實施例里的縮放參數(shù)的設(shè)定及其相關(guān)數(shù)值
注意到，在進行抽樣之前，也可以施加低通濾波到內(nèi)插幀以降低混疊效應(yīng)(aliasing effect)。是否進行低通濾波由以下因素來確定，諸如計算成本、產(chǎn)生的預(yù)測候選幀數(shù)目、和包括將在殘差編碼階段被吸收的混疊的預(yù)測誤差。
還要注意到，與現(xiàn)有的編解碼器相比，如果內(nèi)插幀的分辨率高于H.264/AVC編解碼器里常用的1/4或1/8像素幀的分辨率，可以采用額外的存儲器。在此情況下，對每個基準幀，對一個內(nèi)插幀，需要額外存儲器。
圖5是適合使用本發(fā)明典型實施例的一個裝置的簡化模塊示意圖。存儲器510可以是適合本地技術(shù)環(huán)境的任何類型，可以使用任何合適的數(shù)據(jù)存儲技術(shù)，如半導體存儲器設(shè)備、磁存儲器設(shè)備和系統(tǒng)、光學存儲器設(shè)備和系統(tǒng)、固定存儲器和可移動存儲器。為了便于描述本發(fā)明，存儲器可以被看作是一個計算機可讀媒質(zhì)。
數(shù)據(jù)處理器520可以是適合本地技術(shù)環(huán)境的任何類型，可能包括一個或多個通用計算機、微處理器、數(shù)字信號處理器(DSP)和基于單核處理器架構(gòu)或多核處理器架構(gòu)的處理器。
數(shù)據(jù)處理器520能夠接收來自任何裝置(圖中未顯示)的輸入視頻信號，如任何無線和有線通信信道或任何存儲設(shè)備如磁驅(qū)動器、光盤、固態(tài)設(shè)備等。數(shù)據(jù)處理器520處理本發(fā)明各個非限制性實施例描述的數(shù)據(jù)。通過以一個或多個選擇的抽樣率抽樣一個內(nèi)插幀來產(chǎn)生一個或多個縮放基準幀、將一個幀與縮放基準幀進行匹配，數(shù)據(jù)處理器確定運動數(shù)據(jù)。該處理過程是利用預(yù)設(shè)參數(shù)或使用存儲在存儲器510內(nèi)的程序自動執(zhí)行，以控制和輸入所涉及的參數(shù)，從而程序發(fā)送控制信號或數(shù)據(jù)531到數(shù)據(jù)處理器520。雖然數(shù)據(jù)處理器520也使用存儲器510來保留中間數(shù)據(jù)或輸出532，如內(nèi)插幀或多個基準幀。此外，存儲在存儲器510內(nèi)的程序可以訪問任何輸出532，以便數(shù)據(jù)處理器510需要進行進一步的處理，也可以通過任何裝置(圖中未顯示)如通信信道或存儲器設(shè)備發(fā)送輸出532到其它設(shè)備或處理器。
圖6是描述本發(fā)明一個典型實施例可以用于一個典型編碼器系統(tǒng)的模塊圖。輸入視頻信號610由運動估計模塊670進行處理，其考慮縮放運動和平移運動。運動估計模塊670使用來自子像素運動估計的內(nèi)插幀以產(chǎn)生縮放基準幀。運動估計模塊670使用來自緩沖器635的多個臨時基準幀。插值被施加到存儲在緩沖器635內(nèi)的幀以產(chǎn)生內(nèi)插幀。在緩沖器635內(nèi)的這些臨時基準幀也充當輸出視頻信號，因為它們表示視頻里不同瞬時的幀。在被存儲到緩沖器635內(nèi)之前，這些臨時基準幀是通過模塊620進行處理，如變換、縮放比例和量化以便獲得參數(shù)615，如量化系數(shù)和轉(zhuǎn)換系數(shù)，并需要隨后通過模塊630進行處理，如縮放、逆變換或去量化以及通過去塊濾波器640進行去塊。
從運動估計模塊670獲得的運動數(shù)據(jù)625和參數(shù)615如量化系數(shù)是通過熵編碼模塊680進行處理。幀內(nèi)預(yù)測模塊650和運動補償模塊660分別被用來進行幀內(nèi)預(yù)測和幀間預(yù)測。運動補償模塊接收來自運動估計模塊670的運動數(shù)據(jù)625以及來自緩沖器635的多個臨時基準幀。在幀內(nèi)預(yù)測和幀間預(yù)測之后，提供輸出以便在模塊620和630內(nèi)進行處理，如縮放、量化和去量化、變換和逆變換。
圖7是描述本發(fā)明一個典型實施例可以用于一個典型解碼器系統(tǒng)的模塊圖。在解碼器端，解碼器接收到的輸入信號是通過熵解碼710進行解碼。在熵解碼710進行處理之后，被解碼的信號是通過去量化和逆變煥720進行處理。為了獲得被解碼的幀770，使用解碼幀770作為基準幀740進行平移和縮放運動補償730。由去量化和逆變換720得出的信號與來自平移和縮放運動補償730或幀內(nèi)預(yù)測750的輸出一起被處理以產(chǎn)生一個處理信號。處理信號還通過濾波器760進行處理，并用于進行幀內(nèi)預(yù)測750。在通過濾波器760進行濾波之后，產(chǎn)生一個被解碼的幀770。
沒有以任何方式限制范圍，以下權(quán)利要求的闡述和應(yīng)用，在此披露的一個或多個典型實施例的技術(shù)效果是使具有縮放運動和平移運動的運動補償預(yù)測在實際應(yīng)用中更合理可行。在此披露的一個或多個典型實施例的另一個技術(shù)效果是通過由子像素精度運動估計抽樣內(nèi)插幀來獲得縮放基準幀以降低存儲器要求和計算復雜性。在此披露的一個或多個典型實施例的另一個技術(shù)效果是降低了比特率。本發(fā)明提供一種技術(shù)來執(zhí)行更精確的運動補償預(yù)測。當運動補償預(yù)測更精確時，預(yù)測的區(qū)塊將更加類似于原始區(qū)塊，并且它們之間的差異將會更小。由于剩余編碼通過變換編碼對預(yù)測區(qū)塊和原始區(qū)塊之間的差異進行編碼，越小差異需要越少的比特來進行編碼，從而可以節(jié)省比特，并降低比特率。
此外，通過在運動補償預(yù)測時使用交替子抽樣策略，本發(fā)明披露的運動補償預(yù)測技術(shù)還可應(yīng)用到高階運動模型如仿射、透視、多項式和彈性模型。
通常，本裝置的各個實施例可以包括但不限于蜂窩電話和其它無線通信設(shè)備、個人數(shù)字助理(PDA)、便攜式和臺式計算機、圖像攝取設(shè)備如數(shù)碼相機、音頻視頻(AV)設(shè)備如視頻播放器、游戲設(shè)備、允許訪問和瀏覽的互聯(lián)網(wǎng)和局域網(wǎng)(LAN)設(shè)備、以及集成這種功能組合的便攜式單元或設(shè)備。
本發(fā)明實施例可以以軟件、硬件、應(yīng)用邏輯或軟件、硬件和應(yīng)用邏輯的組合來實施。軟件、應(yīng)用邏輯和/或硬件可以位于集成電路芯片、模塊或存儲器上。如果期望的話，軟件、應(yīng)用邏輯和/或硬件的部分可以位于集成電路芯片上，軟件、應(yīng)用邏輯和/或硬件的部分可以位于模塊上，軟件、應(yīng)用邏輯和/或硬件的部分可以位于存儲器上。在一個典型實施例里，應(yīng)用邏輯、軟件或指令組保留在任何一個各種傳統(tǒng)的計算機可讀媒質(zhì)上。在本發(fā)明的上下文里，“計算機可讀媒質(zhì)”可以是任何媒質(zhì)或裝置，其能夠保留、存儲、傳送、傳播或傳輸指令給一個指令執(zhí)行系統(tǒng)、裝置或設(shè)備如計算機進行使用或與其聯(lián)系，如圖5內(nèi)所述的計算機的例子。計算機可讀媒質(zhì)可以包含一個計算機可讀存儲媒質(zhì)，其可以是任何媒質(zhì)或裝置，其能夠保留或存儲指令給一個指令執(zhí)行系統(tǒng)、裝置或設(shè)備如計算機進行使用或與其進行聯(lián)系。
如果期望的話，在此所述的不同函數(shù)可以以不同階和/或互相并行的方式運行。此外，如果期望的話，一個或多個上述函數(shù)可以是選擇性的或可以被合并。
盡管在所附權(quán)利要求里闡述了本發(fā)明的各個方面，但本發(fā)明的其它方面包含所述實施例和/或具有獨立權(quán)利要求特征的從屬權(quán)利要求的特征的其它組合，而不僅僅限于在權(quán)利要求里明確闡述的組合。
在此也將注意到，盡管以上已經(jīng)描述了本發(fā)明的典型實施例，但這些描述不應(yīng)該以一個限制性的方式進行理解。相反，可以對其作出一些改變和修改，而不會脫離在所附權(quán)利要求里所定義的本發(fā)明范圍。
權(quán)利要求
1.一種方法，包括
以一個或多個選擇的抽樣率抽樣一個內(nèi)插幀以產(chǎn)生一個或多個縮放基準幀；
將一個幀與縮放基準幀進行匹配；和
確定一個或多個運動數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其中內(nèi)插幀是通過插值而獲得。
3.根據(jù)權(quán)利要求1所述的方法，其中內(nèi)插幀是由一個子像素運動估計提供。
4.根據(jù)權(quán)利要求1所述的方法，其中選擇的抽樣率是由確定，其中S等于內(nèi)插因子，N1等于縮小級數(shù)目，而N2等于放大級數(shù)目。
5.根據(jù)權(quán)利要求1所述的方法，還包括低通濾波內(nèi)插幀。
6.根據(jù)權(quán)利要求1所述的方法，還包括將一個幀與一個或多個臨時基準幀匹配。
7.根據(jù)權(quán)利要求1所述的方法，在編碼器上執(zhí)行。
8.根據(jù)權(quán)利要求1所述的方法，在解碼器上執(zhí)行。
9.根據(jù)權(quán)利要求1所述的方法，在一個無線通信設(shè)備上執(zhí)行。
10.一個裝置，包括
至少一個處理器；和
至少一個包括計算機程序代碼的存儲器；
所述至少一個存儲器和計算機編程代碼，和至少一個處理器被設(shè)置使裝置能夠執(zhí)行至少以下
以一個或多個選擇的抽樣率抽樣一個內(nèi)插幀以產(chǎn)生一個或多個縮放基準幀；
將一個幀與縮放基準幀進行匹配；和
確定一個或多個運動數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的裝置，其中內(nèi)插幀是通過內(nèi)插法獲得。
12.根據(jù)權(quán)利要求10所述的裝置，其中內(nèi)插幀是由一個子像素運動估計提供。
13.根據(jù)權(quán)利要求10所述的裝置，其中選擇的抽樣率是由確定，其中S等于內(nèi)插因子，N1等于縮小級數(shù)目，而N2等于放大級數(shù)目。
14.根據(jù)權(quán)利要求10所述的裝置，還包括低通濾波內(nèi)插幀。
15.根據(jù)權(quán)利要求10所述的裝置，還包括將一個幀與一個或多個臨時基準幀匹配。
全文摘要
依照本發(fā)明的一個示范實施例，本發(fā)明提供運動補償預(yù)測的方法和裝置。除了平移運動，還考慮縮放運動，通過以一個或多個選擇的抽樣率抽樣一個內(nèi)插幀來產(chǎn)生一個或多個縮放基準幀；將一個幀與縮放基準幀進行匹配；并確定一個或多個運動數(shù)據(jù)。
文檔編號H04N7/32GK101765011SQ20091026149
公開日2010年6月30日 申請日期2009年12月8日 優(yōu)先權(quán)日2009年10月16日
發(fā)明者布禮文, 黃嘉文, 張國威, 吳家豪, 劉雨 申請人:香港應(yīng)用科技研究院有限公司