專利名稱：用于速率－失真－復雜度優(yōu)化的視頻編碼的運動矢量聯(lián)合時空指向尺度預測和編碼的制作方法
技術領域：
本發(fā)明總體涉及用于編碼視頻的方法和設備，并且尤其涉及一種用于使用基于運動矢量估計和編碼算法的預測來編碼視頻的方法和設備。
用于運動矢量(MV)估計和編碼的空間預測(根據(jù)相鄰元素)廣泛地使用在當前視頻編碼標準中。例如，根據(jù)相鄰元素的MV空間預測被用于許多預測編碼標準中，諸如MPEG 2、4和H.263。在各時間尺度上的MV預測和編碼由相同發(fā)明人在2002年10月7日提交的美國專利臨時申請No.60/416,592中公開，其全文在此引用以作參考，如同在本文中重復其全文。一個相關申請(即與60/416,592相關)由相同發(fā)明人在同一日期提交，該相關申請也在此引用以作參考。
一種在各空間尺度上的MV預測和編碼的方法由Zhang和Zafar在美國專利No.5,477,272號中介紹，其全文(包括附圖)在此引用以作參考，如同在本文中重復其全文。
盡管在視頻編碼中有這些改進，但是仍然需要提高視頻編碼中的處理效率，以便在不犧牲質量的情況下提高處理速度和編碼增益。
本發(fā)明因此致力于開發(fā)一種用于增加視頻編碼中的處理效率而不犧牲質量的方法和設備。
本發(fā)明通過提供幾種預測和編碼方案以及一種組合這些不同方案的方法來在速率-失真-復雜度折衷方面優(yōu)化性能，從而解決這些和其它問題。
用于運動矢量(MV)的時間預測和編碼的某些方案在美國專利申請No.60/416,592中公開。與過完備小波視頻編碼的新編碼范例相結合，本文闡述兩種預測和編碼方案。第一預測和編碼方案采用在各空間尺度上的預測。第二預測和編碼方案采用不同指向子帶上的運動矢量預測和編碼。根據(jù)本發(fā)明的另一方面，視頻編碼方案利用聯(lián)合預測和編碼以便同時優(yōu)化速率、失真和復雜度。


圖1示出根據(jù)本發(fā)明一方面的用于使用CODWT來執(zhí)行運動矢量估計編碼的處理的方框圖。
圖2示出根據(jù)本發(fā)明另一方面的用于執(zhí)行在各空間尺度上的運動矢量估計編碼的處理的方框圖。
圖3示出根據(jù)本發(fā)明又一方面的用于在相同空間尺度的子帶上執(zhí)行運動矢量估計編碼的處理的方框圖。
圖4示出根據(jù)本發(fā)明另一方面的用于使用多個技術來執(zhí)行運動矢量估計編碼的處理的流程圖。
圖5示出根據(jù)本發(fā)明另一方面的用于在不同指向子帶上進行預測和編碼的處理的流程圖。
圖6-8示出用于使用在各空間尺度上的預測來計算運動矢量的方法的示范實施例。
圖9示出來自一級小波變換后的Foreman序列的兩幀，其中這兩幀可以根據(jù)本發(fā)明的另一方面被分解為不同子帶。
圖10示出根據(jù)本發(fā)明另一方面的在不同指向子帶上的預測中使用的參考幀。
圖11示出根據(jù)本發(fā)明另一方面的在不同指向子帶上的預測中使用的當前幀。
值得注意的是，這里提到的“一個實施例”意味著一個特定特征、結構或結合該實施例描述的特性被包含在本發(fā)明的至少一個實施例中。在說明書中各個地方出現(xiàn)的短語“在一個實施例中”不必都指相同實施例。
最近，過完備運動補償?shù)男〔ㄒ曨l編碼已經引起了很多關注。在該方案中，首先執(zhí)行空間分解，并且接著對每個所得到的空間子帶獨立執(zhí)行多分辨率運動補償時間濾波(MCTF)。在這樣的方案中，可以在不同分辨率和指向下獲得運動矢量，因此可以實現(xiàn)不同時空分辨率下的良好質量解碼。同樣，可以執(zhí)行時間濾波，應當記住紋理信息以便保留重要特征，諸如邊緣。然而，使用這樣的方案，在需要編碼的運動矢量的數(shù)量方面有大得多的開銷。
為了執(zhí)行運動估計(ME)，從具有分辨率可縮放性的參考幀的臨界采樣的分解構造過完備離散小波變換(ODWT)。使用稱為完備到過完備離散小波變換(CODWT)的程序從離散小波變換(DWT)構造ODWT。該程序對于參考幀發(fā)生在編碼器和解碼器側。所以在CODWT之后，參考子帶Skd(也就是來自小波分解級d的幀k)被表示為四個臨界采樣的子帶Sk(0，0)d、Sk(1，0)d、Sk(0，1)d和Sk(1，1)d。括號中的下標表示在垂直和水平方向中的下采樣之后保留的多相分量(偶數(shù)＝0，奇數(shù)＝1)。在這四個臨界采樣的參考子帶的每一個中執(zhí)行運動估計，并且選擇最佳匹配。
因此，每個運動矢量也具有相關的編號以表示最佳匹配屬于這四個分量中的哪一個。對于每個子帶(LL、LH、HL和HH)，以一級接著一級的方式執(zhí)行運動估計和運動補償(MC)程序。在該方法中，與其中首先執(zhí)行MCTF的方法類似，每個分辨率級可以使用可變塊尺寸和搜索范圍。
然而，為了提供良好的時間去相關，這些擴展需要編碼附加的運動矢量(MV)組。由于雙向運動估計是在多個時空級下執(zhí)行的，所以附加的MV比特的數(shù)量隨著分解級的數(shù)量而增加。類似地，在濾波期間使用的參考幀的數(shù)量越大，就有越多的MV需要被編碼。
我們可以將“時間冗余度因子”Rt定義為需要用這些方案編碼的MV場的數(shù)量除以Haar分解中的MV場的數(shù)量(其與混合編碼方案中的MV場的數(shù)量相同)的結果。于是，在時間分解級Dt下，雙向濾波，并且GOF尺寸是2Dt的倍數(shù)，則該因子表示為Rt=2Dt-Dt2Dt-1-1=2]]>類似地，我們可以對于不同分解結構計算該冗余度因子。也可以類似地定義用于這樣的過完備小波編碼方案的空間運動矢量冗余度因子Rs。使用Ds空間分解級的方案具有總數(shù)為3Ds+1個子帶。有許多種對這些子帶執(zhí)行ME和時間濾波的方式，每種方式具有一個不同的冗余度因子。
1、隨著空間分解級數(shù)增加，將最小塊尺寸除以4。這確保每個子帶具有相同數(shù)量的運動矢量。在這樣的情況中，冗余度因子是Rs＝3Ds+1。以降低效率為代價降低冗余度的一種方式是在每一級下對于來自三個高頻子帶的塊使用一個運動矢量。在這樣的情況中，冗余度因子降低到Rs＝Ds+1。
2、在所有空間分解級下使用相同的最小塊尺寸。在這樣的情況中，在每個相繼的空間分解級下，運動矢量的數(shù)量減少到四分之一。在這樣的情況中，總冗余度可以如此計算Rs=Σi=1Ds3(14i)+(14Ds)=(1-14Ds)+(14Ds)=1.]]>然而，在不同空間級下保持相同塊尺寸會顯著地降低運動估計和時間濾波的質量。同時，如果我們進一步限制對于每級下的三個高頻子帶的塊只使用一個運動矢量，則冗余度因子減少至Rs=Σi=1Ds(14i)+(14Ds)=13(1-14Ds)+(14Ds)=13(1+24Ds)≤1]]>重要的是，該冗余度因子Rs不依賴于早先導出的時間冗余度因子Rt。當在該框架中使用雙向濾波等時，所得到的冗余度因子是Rt和Rs的乘積。
總之，為了對視頻序列進行有效的時間濾波，許多附加的MV組需要被編碼。在本公開中，我們介紹不同的MV預測和編碼方案，這些方案利用它們之間的一些時空指向尺度相關性。這樣的方案可以顯著地減少編碼MV所需要的比特，同時也允許不同維度中的MV可縮放性。同時，也可以用這些方案來研究編碼效率、質量和復雜度之間的折衷。
在各空間尺度上的預測用于MV預測和編碼的這些方案在過完備時間濾波域中是適用的，其中在許多空間尺度上執(zhí)行ME。由于不同尺度下的子帶之間的相似性，我們可以在這些尺度上預測MV。為了簡化說明，我們考慮圖2中的一些運動矢量。
在圖2中，我們示出兩個不同的空間分解級，并且示出相應于這兩級中的相同區(qū)域的塊。我們考慮當在不同空間級下使用用于運動估計(ME)的相同塊尺寸時的例子。當我們在不同空間分解級下減小塊尺寸時，我們在所有空間級下具有相同數(shù)量的運動矢量(MV5被分為用于級d下的四個小子塊的四個MV)，并且這里定義的預測和編碼方案可以簡單地擴展到這種情況。
如同在各時間尺度上的預測一樣，我們可以定義從頂部向下、從底部向上的預測方案和混合預測方案。
從頂部向下的預測和編碼在該方案中，我們使用空間級d-1下的MV來預測在時間級d下的MV，并且依此類推。使用圖2中的例子，如圖6中所示，該處理60可被寫為a.確定MV1、MV2、MV3和MV4(步驟61)。
b.作為基于這四個MV的細化來估計MV5(步驟62)。
c.編碼MV1、MV2、MV3、MV4(步驟63)。
d.編碼對應于MV5的細化(或沒有細化)(步驟64)。
與從頂部向下的時間預測和編碼類似，該方案很可能具有高效率，然而它不支持空間可縮放性。同樣，我們可以在估計處理期間繼續(xù)使用運動矢量(MV)預測，也就是基于MV1、MV2、MV3和MV4預測MV5的搜索中心和搜索范圍。
混合從頂部向下估計，從底部向上編碼在圖7中示出的是使用如圖6中示出的在各空間尺度上的預測的方法的另一示范實施例70。
a.確定MV1、MV2、MV3和MV4(步驟71)。
b.確定MV5，使得MV1、MV2、MV3和MV4需要很少的比特(步驟72)。
c.編碼MV5(步驟73)。
d.編碼對應于MV1、MV2、MV3和MV4的細化或根本沒有細化(步驟74)。
混合預測聯(lián)合使用來自不同級的MV以作為預測器圖8中示出的是使用如圖6-7中示出的在各空間尺度上的預測的方法的另一示范實施例80。
a.確定MV1、MV2和MV5(步驟81)。
b.作為基于MV1、MV2和MV5的細化來估計MV3和MV4(步驟82)。
c.編碼MV5、MV2和MV1(步驟83)。
編碼對應于MV3和MV4的細化或者根本沒有細化(步驟84)。
這些方案中的一些的優(yōu)點和缺點與專利公開703530中限定的針對時間預測和編碼的方案相類似。
在相同空間級下的不同指向子帶上的預測和編碼參看圖5，其中示出的是在不同指向子帶上的預測和編碼處理。以上用于MV預測和編碼的方案利用了過完備時間濾波域中的相同空間分解級下的各子帶的運動信息中的相似性。在一級下的不同的高頻空間子帶是LH、HL和HH。由于這些子帶對應于相同幀中的不同定向頻率(指向)，所以它們具有相關的MV。因此可以聯(lián)合執(zhí)行預測和編碼，或在這些定向子帶上執(zhí)行預測和編碼。
如圖3中所示，MV1、MV2和MV3是相應于不同頻率子帶(不同指向)中的相同空間位置中的塊的運動矢量。如圖5中示出的預測性編碼和估計的一種方式如下操作。
a.確定MV1(步驟51)b.作為基于MV1的細化來估計MV2和MV3(步驟52)c.編碼MV1(步驟53)d.編碼對應于MV2和MV3的細化(或者根本沒有細化)(步驟54)。
以上可以用MV2或MV3代替MV1重寫。同樣，該方案可以容易地被修改，以將三個MV中的兩個用作對第三個MV的預測器。
用于指向子帶的運動矢量估計在過完備小波編碼框架中，在空間小波變換之后執(zhí)行運動估計和補償。作為一個例子，在圖9中示出來自一級小波變換之后的Foreman序列的兩幀。如可看到的那樣，這兩幀被分解為不同子帶LL(近似)和LH、HL和HH子帶(細節(jié)子帶)。LL子帶可在多級下被進一步分解，以便獲得多級小波變換。
三個細節(jié)子帶LH、HL和HH也稱為定向子帶(因為它們分別捕獲垂直、水平和對角頻率)。需要對這三個指向子帶中的塊執(zhí)行運動估計和補償。在圖10和11中針對LH子帶對此進行圖示。
對于HL和HH子帶中的每個塊是相似的，相應的MV和最佳匹配必須從參考幀中的HL和HH子帶中找到。然而，可以清楚地看到，在這些子帶之間存在相關性，所以這些不同子帶中的相同位置中的塊很可能具有相似的運動矢量。因此，對于來自這些不同幀的塊的MV可以相互預測。
MV的聯(lián)合預測和編碼參看圖4，其中示出的是使用根據(jù)本發(fā)明另一方面的運動矢量的聯(lián)合預測和編碼的方法40?？傊?，有四種用于MV的預測和編碼方案的寬泛類別。它們是·從空間相鄰元素(SN)預測，其是預測性編碼標準中使用的公知技術，所述標準例如是MPEG 2、4和H.263。
·在各時間尺度(TS)上預測，其在美國專利申請No.60/483,795(US020379)中闡述。
·在各空間尺度(SS)上預測(見圖6-8)。
·在不同指向子帶(OS)上預測(如以上參考圖5所述)。
在編碼器中可以聯(lián)合使用來自這些類別的一個或多個的方案，以便獲得對于當前MV的更好預測。我們可以將這一點作為流程圖示出在圖4中。
與不同預測中的每一個相關聯(lián)的成本被定義為速率、失真和復雜度的函數(shù)。成本＝f(速率，失真，復雜度)。精確的成本函數(shù)必須基于應用的需要來選擇，然而，通常這些參數(shù)的大多數(shù)成本函數(shù)將是足夠的。
在計算了預測運動矢量和它們的成本當中的每一個之后，可以基于成本函數(shù)確定是否以組合形式使用這些計算出的運動矢量。
不同函數(shù)可以用于組合來自這些寬泛類別的每一個的可用預測(陰影塊)。兩個例子是加權的平均和中值函數(shù)PMV＝αSNPMVSN+αTSPMVTS+αSSPMVSS+αOSPMVOS或者PMV＝median(PMVSN，PMVTS，PMVSS，PMVOS)。
在這樣的組合(αs)期間使用的權重應該基于與每個預測類別有關的成本確定，并且編碼器和解碼器需要支持的期望特征也是一樣的。例如，如果時間預測方案具有高的相關成本，那么它應該被指定一個小權重。類似地，如果空間可縮放性是必要條件，那么從底部向上的預測方案應該優(yōu)于從頂部向下的預測方案。
對于可用預測方案、組合函數(shù)以及所指定權重的選擇需要被發(fā)送到解碼器，以使其可以正確地解碼MV殘余。
通過啟用這些不同的預測方案，我們可以利用速率-失真-復雜度之間的折衷。作為一個例子，如果我們不細化對于當前MV的預測，我們就不需要執(zhí)行對于當前MV的運動估計，也就是說可以顯著地減小計算復雜度。同時，由于不細化MV，我們需要更少的比特來編碼MV(由于剩余現(xiàn)在是零)。然而，這樣做的代價是較差的質量匹配。因此，需要基于編碼器和解碼器要求和性能來做出明智的折衷。
以上方法和處理適用于任何基于幀間/過完備小波編解碼器的產品，其中包括但不限于可縮放視頻存儲模塊，以及因特網/無線視頻傳輸模塊。
雖然本文具體示出和描述了各種實施例，但是應當理解，在不脫離本發(fā)明的精神和范圍的情況下，對本發(fā)明的修改和變化由以上教導覆蓋并且落在所附權利要求書的范圍內。例如，描述了某些產品，其中以上方法可以被使用，然而，其它產品可以受益于本文中列出的方法。此外，該例子不應該被解釋為限制由權利要求書覆蓋的本發(fā)明的修改和變化，而是僅僅說明可能的變型。
權利要求
1.一種用于計算全運動視頻序列中的一幀的運動矢量的方法，包括確定是否使用一個或多個時間尺度預測運動矢量(PMVTS)，所述運動矢量是基于與所述一個或多個時間尺度預測運動矢量有關的所計算的成本函數(shù)、使用在各時間尺度上的預測而計算出來的(41a，41b)；確定是否使用一個或多個空間相鄰元素預測運動矢量(PMVSN)，所述運動矢量是基于與所述一個或多個空間相鄰元素預測運動矢量有關的所計算的成本函數(shù)、使用在各空間相鄰元素上的預測而計算出來的(43a，43b)；以及組合所有確定使用的預測運動矢量并且使用該組合的預測以用于估計和編碼當前運動矢量(45，46)。
2.根據(jù)權利要求1所述的方法，還包括確定是否使用一個或多個空間尺度預測運動矢量(PMVSS)，所述運動矢量是基于與所述一個或多個空間尺度預測運動矢量有關的所計算的成本函數(shù)、使用在各空間尺度上的預測而計算出來的(42a，42b)。
3.根據(jù)權利要求1所述的方法，還包括確定是否使用一個或多個指向子帶預測運動矢量(PMVOS)，所述運動矢量是基于與所述一個或多個指向子帶預測運動矢量有關的所計算的成本函數(shù)、使用來自不同指向子帶的預測而計算出來的(44a，44b)。
4.根據(jù)權利要求2所述的方法，其中所述確定是否使用一個或多個空間尺度預測運動矢量的步驟包括確定第一組四個運動矢量(51)；基于該第一組估計第五個運動矢量(52)；編碼該第一組運動矢量中的每個運動矢量(53)；以及編碼對應于該第五運動矢量的細化(54)。
5.根據(jù)權利要求2所述的方法，其中所述確定是否使用一個或多個空間尺度預測運動矢量的步驟包括確定第一組四個運動矢量(61)；確定第五個運動矢量，以使得該第一組運動矢量中的每個運動矢量需要最少數(shù)量的比特(62)；編碼該第五個運動矢量(63)；以及編碼對應于該第一組運動矢量中的每個運動矢量的細化(64)。
6.根據(jù)權利要求2所述的方法，其中所述確定是否使用一個或多個空間尺度預測運動矢量的步驟包括確定三個運動矢量(71)；作為所述三個運動矢量的細化來估計兩個附加的運動矢量(72)；編碼所述三個運動矢量中的每一個(73)；以及編碼對應于所述兩個附加的運動矢量的細化(74)。
7.根據(jù)權利要求3所述的方法，其中所述確定是否使用一個或多個指向子帶預測運動矢量的步驟包括確定第一個運動矢量(81)；作為該第一個運動矢量的細化來估計兩個附加的運動矢量(82)；編碼該第一個運動矢量(83)；以及編碼對應于所述兩個附加的運動矢量的細化(84)。
8.根據(jù)權利要求1所述的方法，其中在每個確定步驟中的成本函數(shù)包括一個速率、失真和復雜度的函數(shù)。
9.根據(jù)權利要求1所述的方法，其中所述組合包括計算確定要使用的所有預測運動矢量的加權平均。
10.根據(jù)權利要求1所述的方法，其中所述組合包括計算確定要使用的所有預測運動矢量的平均值。
11.一種用于計算全運動視頻序列中的一幀的多個運動矢量的方法，包括計算一個或多個空間尺度預測運動矢量(PMVSS)和所述一個或多個空間尺度預測運動矢量(PMVSS)的相關成本(42b)；計算一個或多個指向子帶預測運動矢量(PMVOS)和所述一個或多個指向子帶預測運動矢量(PMVOS)的相關成本(44b)；以及組合所有的預測運動矢量(45)并且使用該組合的預測以用于估計和編碼當前的運動矢量(46)。
12.根據(jù)權利要求11所述的方法，還包括計算一個或多個時間尺度預測運動矢量(PMVTS)和所述一個或多個時間尺度預測運動矢量(PMVTS)的相關成本(41b)。
13.根據(jù)權利要求11所述的方法，還包括計算一個或多個空間相鄰元素預測運動矢量(PMVSN)和所述一個或多個空間相鄰元素預測運動矢量(PMVSN)的相關成本(43b)。
14.根據(jù)權利要求11所述的方法，其中所述計算一個或多個空間尺度預測運動矢量包括確定第一組四個運動矢量(51)；基于該第一組估計第五個運動矢量(52)；編碼該第一組運動矢量中的每個運動矢量(53)；以及編碼對應于該第五個運動矢量的細化(54)。
15.根據(jù)權利要求11所述的方法，其中所述計算一個或多個空間尺度預測運動矢量包括確定第一組四個運動矢量(61)；確定第五個運動矢量，以使得該第一組運動矢量中的每個運動矢量需要最少數(shù)量的比特(62)；編碼該第五個運動矢量(63)；以及編碼對應于該第一組運動矢量中的每個運動矢量的細化(64)。
16.根據(jù)權利要求11所述的方法，其中所述計算一個或多個空間尺度預測運動矢量包括確定三個運動矢量(71)；作為所述三個運動矢量的細化來估計兩個附加的運動矢量(72)；編碼所述三個運動矢量中的每一個(73)；以及編碼對應于所述兩個附加的運動矢量的細化(74)。
17.根據(jù)權利要求11所述的方法，其中所述計算一個或多個指向子帶預測運動矢量包括確定第一個運動矢量(81)；作為該第一個運動矢量的細化來估計兩個附加的運動矢量(82)；編碼該第一個運動矢量(83)；以及編碼對應于所述兩個附加的運動矢量的細化(84)。
18.根據(jù)權利要求11所述的方法，其中每個計算步驟中的相關成本包括一個速率、失真和復雜度的函數(shù)。
19.根據(jù)權利要求11所述的方法，其中所述組合包括計算所有預測運動矢量的加權平均。
20.根據(jù)權利要求11所述的方法，其中所述組合包括計算所有預測運動矢量的平均值。
全文摘要
幾種預測和編碼方案被組合，以便在速率－失真－復雜度折衷方面優(yōu)化性能。將某些用于運動矢量(MV)的時間預測和編碼的方案與過完備小波視頻編碼的新編碼范例相組合。在本文中闡述了兩個預測和編碼方案。第一個預測和編碼方案采用在各空間尺度上的預測。第二個預測和編碼方案采用在不同指向子帶上的運動矢量預測和編碼。一個視頻編碼方案利用聯(lián)合預測和編碼，以便同時優(yōu)化速率、失真和復雜度。
文檔編號G06T7/20GK1839632SQ200480023986
公開日2006年9月27日 申請日期2004年8月17日 優(yōu)先權日2003年8月22日
發(fā)明者D·圖拉加, M·范德沙爾 申請人:皇家飛利浦電子股份有限公司