專利名稱：用于基于小波的編碼中的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波的既有被濾波區(qū)域又有未濾波區(qū)域的l幀的制作方法
技術(shù)領(lǐng)域：
本發(fā)明要求美國(guó)臨時(shí)申請(qǐng)序列號(hào)60/395,921的權(quán)益，該申請(qǐng)?zhí)峤蝗諡?002年7月15日，特此引用其教導(dǎo)作為參考。
本發(fā)明總體涉及視頻壓縮，更具體來(lái)說(shuō)，涉及利用產(chǎn)生既有被濾波區(qū)域又有未濾波區(qū)域的L幀的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波的基于小波(wavelet)的編碼。
許多當(dāng)前的視頻編碼算法以運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)編碼為基礎(chǔ)，這些算法被認(rèn)為是混合方案。在這種混合方案中，時(shí)間冗余是利用運(yùn)動(dòng)補(bǔ)償來(lái)減少的，而空間冗余則是通過(guò)變換編碼運(yùn)動(dòng)補(bǔ)償?shù)臍堄喽鴾p少的。一般使用的變換包括離散余弦變換(DCT)或子帶/小波分解。然而這種方案在提供真正可縮放的(scalable)比特流方面缺少靈活性。
另一類被稱為基于3D子帶/小波(以下稱為“3D小波”)編碼的方案，特別在當(dāng)前通過(guò)異類網(wǎng)絡(luò)的視頻傳輸?shù)那闆r中已經(jīng)得到流行。這些方案在這種應(yīng)用中是合乎需要的，因?yàn)樘峁┓浅ｌ`活的可縮放比特流和更高的錯(cuò)誤復(fù)原能力(error resilience)。在3D小波編碼中，整個(gè)幀被一次性變換，而不是如基于DCT的編碼中那樣被逐塊地變換。
3D小波方案的一個(gè)組成部分是運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波(MCTF)，進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波是為了減少時(shí)間冗余。在標(biāo)題為″Motion-Compensated 3-D Subband Coding of Video(對(duì)視頻的運(yùn)動(dòng)補(bǔ)償?shù)?D子帶編碼)″(IEEE Transactions On Image Processing，Volume 8，No.2，1999年2月，作者Seung-Jong Choi和John Woods)的文章中描述了MCTF的一個(gè)例子，以下簡(jiǎn)稱該文為″Woods″。
在Woods中，在進(jìn)行空間分解之前，在運(yùn)動(dòng)的方向上對(duì)幀進(jìn)行時(shí)間上的濾波。在時(shí)間濾波期間，由于場(chǎng)景中的運(yùn)動(dòng)的性質(zhì)和對(duì)象的覆蓋/暴露(covering/uncovering)，有些像素或者不被參考或者被多次參考。這種像素被稱為不連接的(unconnected)像素，并且需要特殊的處理，這導(dǎo)致降低的編碼效率。

圖1中顯示了取自Woods中的不連接的和連接的像素的例子。
本發(fā)明涉及一種用于編碼視頻的方法和裝置。按照本發(fā)明，將第一幀中的第一區(qū)域與第二幀中的第二區(qū)域匹配。生成一個(gè)包括第一與第二區(qū)域的像素值之間的差的第一部分編碼的幀。生成一個(gè)包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀。此外，將第一和第二部分編碼的幀變換成小波系數(shù)。
在一個(gè)例子中，如果第一和第二區(qū)域之間的匹配的質(zhì)量高于預(yù)定的閾值，則生成包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀。在另一個(gè)例子中，如果用來(lái)編碼第二部分解碼的幀的比特的個(gè)數(shù)小于將第一和第二區(qū)域的像素值的平均包括在第二部分編碼的幀中的的情況，則產(chǎn)生包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀。
本發(fā)明涉及一種解碼一個(gè)比特流的方法和裝置。按照本發(fā)明，該比特流被熵解碼以便生成小波系數(shù)。
小波系數(shù)被變換成包括一個(gè)被濾波區(qū)域的第一部分解碼的幀和包括一個(gè)未濾波區(qū)域的第二部分解碼的幀。生成包括通過(guò)或者加法或者減法而組合的被濾波區(qū)域和未濾波區(qū)域的像素值的第一幀。此外，生成包括未濾波區(qū)域的像素值的第二幀。
現(xiàn)在參看附圖，附圖中同樣的附圖標(biāo)記始終代表對(duì)應(yīng)的部件。
圖1是表示一個(gè)已知的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波技術(shù)的各方面的圖示；圖2是表示按照本發(fā)明的時(shí)間濾波的一個(gè)例子的圖示；圖3是按照本發(fā)明的編碼器的一個(gè)例子的框圖；圖4是表示2D小波變換的一個(gè)例子的框圖；圖5是按照本發(fā)明的解碼器的一個(gè)例子的框圖；以及圖6是按照本發(fā)明的系統(tǒng)的一個(gè)例子。
如前文所述，3D小波方案的一個(gè)組成部分是運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波(MCTF)，執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波是為了減少時(shí)間冗余。在常規(guī)的MCTF中，幀是成對(duì)地被濾波的。特別地，利用如下所示的匹配每對(duì)幀中的相似區(qū)域的運(yùn)動(dòng)矢量(Vy，Vx)，每對(duì)幀(A，B)被濾波成L和H幀
L(y+vy，x+vx)＝c1(A(y+vy，x+vx)+B(y，x))(1)H(y，x)＝c2(B(y，x)-A(y+vy，x+vx)) (2)在等式1中，L對(duì)應(yīng)于每對(duì)的經(jīng)縮放的平均，c1代表縮放因子。在等式2中，H對(duì)應(yīng)于每對(duì)的經(jīng)縮放的差，c2代表縮放因子。由于L幀代表按時(shí)間平均的幀，一般來(lái)說(shuō)，只有在視頻以較低的幀速率被解碼時(shí)，才顯示L幀。因此，L幀應(yīng)當(dāng)質(zhì)量好，因?yàn)樵诮獯a的L幀中產(chǎn)生的任何偽像(artifacts)都可能導(dǎo)致在較低幀速率下不良的視頻質(zhì)量。
當(dāng)運(yùn)動(dòng)估計(jì)的質(zhì)量良好時(shí)(即找到好的匹配時(shí))，L幀的質(zhì)量一般相當(dāng)好。然而，有在視頻序列中對(duì)于兩個(gè)幀之間的區(qū)域可能找不到良好的匹配的情況。這種情況包括場(chǎng)景變化、快速運(yùn)動(dòng)或在特定場(chǎng)景中的對(duì)象的遮蓋和暴露。因此，按照本發(fā)明，對(duì)應(yīng)于不良匹配的L幀的部分不被濾波，它們被定義為A區(qū)域。即使不能找到良好的匹配，這也使這些區(qū)域的視覺質(zhì)量能不受影響。此外，通過(guò)不在不良匹配的區(qū)域上進(jìn)行濾波而可以改善編碼效率也是有可能的。
圖2中表示按照本發(fā)明的時(shí)間濾波的一個(gè)例子。
在這個(gè)例子中，兩個(gè)區(qū)域(有陰影的)被顯示為被濾波，以便產(chǎn)生L和H區(qū)域。此外，兩個(gè)其它區(qū)域(沒有陰影的)被顯示為被濾波，以便產(chǎn)生A和H區(qū)域。如前文所述的那樣，A區(qū)域是一個(gè)幀的未濾波的一部分。由于在濾波期間L區(qū)域被縮放，也可能需要縮放未濾波的區(qū)域，以便具有相同的大小。A區(qū)域的這個(gè)縮放，可以以下式表達(dá)L(y+vy，x+vx)＝c3(A(y+vy，x+vx)) (3)圖3中表示一個(gè)按照本發(fā)明的編碼器的例子。圖中可見，編碼器包括一個(gè)分割單元2，用于把輸入視頻劃分成被作為一個(gè)單元編碼的畫面組(GOP)。按照本發(fā)明，分割單元2進(jìn)行操作，以使得GOP包括一個(gè)預(yù)定數(shù)目的幀，或者在操作期間根據(jù)諸如帶寬、編碼效率和視頻內(nèi)容之類的參數(shù)被動(dòng)態(tài)地確定。例如，如果視頻由快速場(chǎng)景變化和高度運(yùn)動(dòng)組成，則有一個(gè)較短的GOP是更高效的，而如果視頻大部分由靜止的對(duì)象組成，則有一個(gè)較長(zhǎng)的GOP是更高效的。
圖中可見，所包括的MCTF單元4由運(yùn)動(dòng)估計(jì)單元6和時(shí)間濾波單元8組成。在操作期間，每個(gè)GOP的幀將成對(duì)地被處理，其中每一對(duì)包括一個(gè)源幀和一個(gè)參考幀。這樣，運(yùn)動(dòng)估計(jì)單元6將對(duì)每個(gè)源幀中的區(qū)域與每個(gè)參考幀中的相似的區(qū)域進(jìn)行匹配。在一個(gè)例子中，運(yùn)動(dòng)估計(jì)單元6將進(jìn)行后向預(yù)測(cè)。因此在這個(gè)例子中，源幀將是較晚的幀，參考幀將是較早的幀。在另一個(gè)例子中，運(yùn)動(dòng)估計(jì)單元6將進(jìn)行前向預(yù)測(cè)。因此在這個(gè)例子中，源幀將是較早的幀，參考幀將是較晚的幀。作為上述的匹配的結(jié)果，運(yùn)動(dòng)估計(jì)單元6將為正被處理的當(dāng)前幀中的每個(gè)被匹配區(qū)域提供一個(gè)運(yùn)動(dòng)矢量MV和一個(gè)幀號(hào)。
在操作期間，時(shí)間濾波單元8去除每個(gè)幀對(duì)之間的時(shí)間冗余。為了執(zhí)行這個(gè)操作，時(shí)間濾波單元8按照由運(yùn)動(dòng)估計(jì)單元6提供的運(yùn)動(dòng)矢量和幀參考號(hào)為每個(gè)幀對(duì)檢索兩個(gè)對(duì)應(yīng)的被匹配區(qū)域。時(shí)間濾波單元8然后將為正被處理的每個(gè)幀對(duì)產(chǎn)生一個(gè)L和H幀。
為了產(chǎn)生H幀，時(shí)間濾波單元8計(jì)算每個(gè)幀對(duì)的兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)的像素值之間的差。優(yōu)選地，然后將該差乘以一個(gè)縮放因子。合適的縮放因子的例子包括2的平方根的倒數(shù)(1/√2)。
為了產(chǎn)生L幀，時(shí)間濾波單元8將為每個(gè)幀對(duì)中的兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)確定其應(yīng)當(dāng)是未濾波的A區(qū)域，還是應(yīng)當(dāng)作為L(zhǎng)區(qū)域被濾波。對(duì)于被確定是L區(qū)域的兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)，時(shí)間濾波單元8計(jì)算該兩個(gè)區(qū)域的像素值的平均值。優(yōu)選地，然后將該平均值乘以一個(gè)縮放因子。合適的縮放因子的例子包括2的平方根(√2)。
對(duì)于被確定是A區(qū)域的兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)，時(shí)間濾波單元8將選擇要被包含在每個(gè)L幀中的該兩個(gè)區(qū)域的其中之一的像素值。優(yōu)選地，時(shí)間濾波單元8將從參考幀中選擇該區(qū)域。然而，按照本發(fā)明，也可以從源幀中選擇該區(qū)域。為了確保正確的解碼，可能有必要向解碼器指出每個(gè)A區(qū)域究竟是從參考幀中還是從源幀中選擇的。這可以通過(guò)與每個(gè)L幀相關(guān)聯(lián)的某種標(biāo)志或報(bào)頭來(lái)完成。此外，優(yōu)選地也將所選擇的區(qū)域乘以一個(gè)縮放因子。合適的縮放因子的例子包括2的平方根的倒數(shù)(1/√2)。
如上所述，時(shí)間濾波單元8將為每個(gè)幀對(duì)中的兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)確定究竟應(yīng)當(dāng)是未濾波的A區(qū)域，還是應(yīng)當(dāng)作為L(zhǎng)區(qū)域而被濾波。按照本發(fā)明，這可以以許多不同方式進(jìn)行。在一個(gè)實(shí)施例中，這將根據(jù)兩個(gè)對(duì)應(yīng)區(qū)域之間的匹配質(zhì)量而確定。匹配質(zhì)量可以通過(guò)使用一個(gè)匹配質(zhì)量指標(biāo)(indication)而確定。合適的匹配質(zhì)量指標(biāo)標(biāo)包括兩個(gè)相應(yīng)的被匹配區(qū)域之間的平均絕對(duì)差(MAD)或均方差(MSE)。兩個(gè)N×N區(qū)域xij和yij之間的MAD是由絕對(duì)像素差的平均計(jì)算的，如下式所示MAD=1N2∑i=1N∑j=1N|xij-yij|---(4)]]>按照等式4，MAD越小，意味著兩個(gè)區(qū)域之間的差越小，并且可以推斷這兩個(gè)區(qū)域是更好地匹配的。這個(gè)值是序列相關(guān)的，低的運(yùn)動(dòng)序列平均來(lái)說(shuō)具有更小的MAD值，高的運(yùn)動(dòng)序列具有更大的平均MAD。平均起來(lái)，一個(gè)相當(dāng)優(yōu)良質(zhì)量的匹配具有小于五(5)的MAD值。因此，可以用這個(gè)閾值來(lái)確定兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)是否是個(gè)良好的匹配。如果MAD值小于五(5)，則這兩個(gè)特定的相應(yīng)的被匹配區(qū)域?qū)⒈蛔鳛長(zhǎng)區(qū)域?yàn)V波。如果MAD值大于這個(gè)閾值，則這兩個(gè)特定的被匹配區(qū)域?qū)⒆鳛锳區(qū)域而不被濾波。
在另一個(gè)例子中，將根據(jù)編碼L幀所用的比特的數(shù)目來(lái)確定兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)究竟應(yīng)當(dāng)是A區(qū)域還是應(yīng)當(dāng)作為L(zhǎng)區(qū)域而被濾波。特別地，對(duì)于兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)，將計(jì)算帶有以及不帶有A區(qū)域時(shí)編碼每個(gè)L幀所需的比特的數(shù)目。如果帶有A區(qū)域時(shí)比特的數(shù)目較小，則這兩個(gè)特定的相應(yīng)的被匹配區(qū)域?qū)⒆鳛锳區(qū)域而不被濾波。如果帶有A區(qū)域時(shí)比特的數(shù)目并非較小，則這兩個(gè)特定的相應(yīng)的被匹配區(qū)域?qū)⒆鳛長(zhǎng)區(qū)域而被濾波。在這個(gè)例子中，可以提高編碼效率。
編碼L幀所需的比特的數(shù)目，可能受到所用的特定熵編碼技術(shù)的影響。例如，嵌入式零樹塊編碼(the embedded zerotree block coding(EZBC))技術(shù)，是用于基于小波的視頻編碼器的更流行的熵編碼技術(shù)的一種。這樣的方案的特點(diǎn)之一是，與具有展開的數(shù)據(jù)的區(qū)域相對(duì)比，這種方案編碼帶有局部化的數(shù)據(jù)的區(qū)域需要更少的比特。如果(時(shí)間濾波和空間分解之后的)變換的系數(shù)是非常群集的(clustered)，并且許多大區(qū)域具有很少的非零系數(shù)，則EZBC需要較少的比特來(lái)壓縮數(shù)據(jù)。另一方面，如果系數(shù)更展開，則EZBC需要更多的比特。因此，對(duì)于兩個(gè)相應(yīng)的被匹配區(qū)域中的每一個(gè)究竟是作為A區(qū)域而不被濾波還是作為L(zhǎng)區(qū)域而被濾波的確定，要根據(jù)所用的熵編碼技術(shù)而定。
上述的MCTF也可產(chǎn)生不連接的像素。因此，時(shí)間濾波單元8將處理這些不連接的像素，如Woods中所述的那樣。
圖中可見，包括一個(gè)空間分解單元10，用于減少由MCTF單元4所提供的幀中的空間冗余。在操作期間，按照2D小波變換，將從MCTF單元4接收的幀被變換成小波系數(shù)。有許多不同類型的濾波器和小波變換的實(shí)現(xiàn)方式。
圖4中表示一個(gè)合適的2D小波變換的例子。圖中可見，一個(gè)幀被用小波變換分解成低頻和高頻子帶。由于這是一個(gè)2D變換，因此有三個(gè)高頻子帶(橫向、縱向、對(duì)角)。低頻子帶被標(biāo)記為L(zhǎng)L子帶(橫向和縱向頻率二者都低)。這些高頻子帶被標(biāo)記為L(zhǎng)H、HL和HH，對(duì)應(yīng)于橫向高頻、縱向高頻以及橫向和縱向高頻。低頻子帶可以進(jìn)一步被遞歸地分解。在圖3中，WT代表小波變換。在Stephane Mallat所著的名為″A Wavelet Tour of Signal Processing(信號(hào)處理的小波導(dǎo)引)″(Academic Press，1997)一書中有對(duì)其它著名的小波變換方案的描述。
回頭參看圖3，編碼器也可包括一個(gè)重要性(significance)編碼單元12，用來(lái)按照重要性信息編碼空間分解單元10的輸出。在這個(gè)例子中，重要性的意思可以是小波系數(shù)的大小，其中較大的系數(shù)比較小的系數(shù)更重要。在這個(gè)例子中，重要性編碼單元10將察看從空間分解單元10接收的小波系數(shù)，然后按照大小對(duì)小波系數(shù)重新排序。因此，最大的小波系數(shù)將被首先發(fā)送。重要性編碼的一個(gè)例子是分級(jí)樹中的集合分割(Set Partitioning in Hierarchical Trees，即SPIHT)。這在名為″A New Fast and Efficient Image Codec Based on SetPartitioning in Hierarchical Tress(基于分級(jí)樹中的集合分割的一種新的快速高效的圖像編解碼器)″(作者A.Said和W.Pearlman，IEEETransactions on Circuits and Systems for Video Technology，vol.6，1996年6月)的文章中有描述。
如圖3中可見，圖中包括的虛線用來(lái)指示一些操作之間的依賴關(guān)系。在一個(gè)例子中，運(yùn)動(dòng)估計(jì)6依賴于重要性編碼12的性質(zhì)。例如，由運(yùn)動(dòng)估計(jì)所產(chǎn)生的運(yùn)動(dòng)矢量，可被用來(lái)確定小波系數(shù)的哪些是更重要的。在另一個(gè)例子中，空間分解10也可能依賴于重要性編碼12的類型。例如，小波分解的層數(shù)可能與重要系數(shù)的個(gè)數(shù)有關(guān)。
如圖進(jìn)一步可見，包括一個(gè)熵編碼單元14，用來(lái)產(chǎn)生輸出比特流。在操作期間，采用熵編碼技術(shù)把小波系數(shù)編碼成輸出比特流。熵編碼技術(shù)也被應(yīng)用于由運(yùn)動(dòng)估計(jì)單元6提供的運(yùn)動(dòng)矢量和幀號(hào)。這個(gè)信息被包括在輸出比特流中，以便能夠進(jìn)行解碼。合適的熵編碼技術(shù)的例子包括可變長(zhǎng)度編碼和算術(shù)編碼。
圖5中表示按照本發(fā)明的解碼器的一個(gè)例子。如前文關(guān)于圖3所述的那樣，輸入視頻被劃分成GOP，每個(gè)GOP被作為一個(gè)單元編碼。因此，輸入比特流可包括一個(gè)或多個(gè)也將作為一個(gè)單元解碼的GOP。比特流將也包括對(duì)應(yīng)于先前被運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波的GOP中的每個(gè)幀的若干個(gè)運(yùn)動(dòng)矢量MV和幀號(hào)。
圖中可見，解碼器包括一個(gè)熵解碼單元16，用于解碼輸入的比特流。在操作期間，將按照在編碼側(cè)所執(zhí)行的熵編碼技術(shù)的逆技術(shù)(inverse)對(duì)輸入比特流解碼。這個(gè)熵解碼將產(chǎn)生對(duì)應(yīng)于每個(gè)GOP的小波系數(shù)。此外，熵解碼還產(chǎn)生將在以后被使用的若干個(gè)運(yùn)動(dòng)矢量和幀號(hào)。還包括一個(gè)重要性解碼單元18，以便按照重要性信息解碼來(lái)自熵解碼單元16的小波系數(shù)。因此，在操作期間，通過(guò)使用在編碼器側(cè)所使用的技術(shù)的逆技術(shù)，小波系數(shù)將被按照正確的空間順序排序。
圖中進(jìn)一步可見，包括一個(gè)空間重組單元20，用于把來(lái)自重要性解碼單元18的小波系數(shù)變換成部分解碼的幀。在操作期間，將按照在編碼器側(cè)所執(zhí)行的2D小波變換的逆變換，對(duì)對(duì)應(yīng)于每個(gè)GOP的小波系數(shù)進(jìn)行變換。這將產(chǎn)生已經(jīng)按照本發(fā)明被運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波的部分解碼的幀。如前文所述的那樣，運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波為所處理的每個(gè)幀對(duì)產(chǎn)生一對(duì)H和L幀。此外，如前文所述的那樣，按照本發(fā)明，L幀既可包括不濾波的A區(qū)域，又可包括濾波的L區(qū)域。
包括了一個(gè)逆時(shí)間濾波單元22，以便用來(lái)重構(gòu)來(lái)自空間重組單元20的部分解碼的幀。在操作期間，逆時(shí)間濾波單元22如下地處理包含在每個(gè)GOP中的每對(duì)H和L幀。首先，按照由熵解碼單元16所提供的運(yùn)動(dòng)矢量和幀號(hào)，檢索每對(duì)H和L幀中的對(duì)應(yīng)區(qū)域。按照本發(fā)明，所檢索的對(duì)應(yīng)區(qū)域中的每一個(gè)將包括一個(gè)來(lái)自L幀的L區(qū)域或A區(qū)域和一個(gè)來(lái)自H幀的區(qū)域。如前文所述，A區(qū)域代表一個(gè)幀對(duì)之間的兩個(gè)對(duì)應(yīng)的被匹配區(qū)域之一的未濾波的像素值，L區(qū)域代表兩個(gè)對(duì)應(yīng)的被匹配區(qū)域的像素值的平均，來(lái)自H幀中的區(qū)域代表兩個(gè)對(duì)應(yīng)的被匹配區(qū)域之間的差。此外，被檢索的對(duì)應(yīng)區(qū)域中的每一個(gè)都被除以在編碼器側(cè)所使用的縮放因子。
對(duì)于L幀中所包含的每個(gè)L-區(qū)域，計(jì)算每個(gè)L區(qū)域與H幀中的對(duì)應(yīng)區(qū)域的像素值的和與差。然后將每個(gè)和與差除以另一個(gè)縮放因子。合適的縮放因子的一個(gè)例子是值二(2)。然后將每個(gè)經(jīng)縮放的和與差置于適當(dāng)?shù)闹貥?gòu)幀中。
對(duì)于L幀中所包含的每個(gè)A區(qū)域，如上文所述的那樣，A區(qū)域在被初始縮放之后將被不加改變地傳送到合適的重構(gòu)幀。如前文所述的那樣，每個(gè)L幀可以有一個(gè)相關(guān)聯(lián)的、表明特定A區(qū)域是從一個(gè)參考幀還是從一個(gè)源幀中選擇的報(bào)頭或標(biāo)志。因此，可以按照相關(guān)聯(lián)的報(bào)頭或標(biāo)志中的信息將每個(gè)A區(qū)域置于適當(dāng)?shù)闹貥?gòu)幀中?；蛘?，可以按照一個(gè)預(yù)定的約定將A區(qū)域置于適當(dāng)?shù)闹貥?gòu)幀中。例如，可能決定對(duì)于整個(gè)視頻序列從參考幀中選擇所有的A區(qū)域。
此外，也將把每個(gè)A區(qū)域的像素值與來(lái)自H幀中的對(duì)應(yīng)區(qū)域的像素值組合。按照本發(fā)明，可以通過(guò)加法或者減法來(lái)組合這些像素值。例如，如果在編碼器側(cè)采用后向預(yù)測(cè)，且A區(qū)域源自參考幀，則減法可能是更優(yōu)選的?；蛘撸绻诰幋a器側(cè)采用后向預(yù)測(cè)，且A區(qū)域源自源幀，則加法可能是更優(yōu)選的。從組合A區(qū)域與H幀中的區(qū)域?qū)С龅闹抵械拿恳粋€(gè)然后被置于適當(dāng)?shù)闹貥?gòu)幀中。
圖6示出了可以在其中實(shí)現(xiàn)按照本發(fā)明的基于小波的編碼的系統(tǒng)的一個(gè)例子，所述編碼利用產(chǎn)生既帶有濾波的區(qū)域又帶有未濾波的區(qū)域的L幀的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波。舉例來(lái)說(shuō)，該系統(tǒng)可代表電視、機(jī)頂盒、臺(tái)式電腦、膝上型電腦、掌上型電腦、個(gè)人數(shù)字助理(PDA)、視頻/圖像存儲(chǔ)裝置(諸如錄像機(jī)(VCR)、數(shù)碼錄像機(jī)(DVR)、TiVO裝置等等)，以及這些或其它裝置的部分或組合。該系統(tǒng)包括一個(gè)或多個(gè)視頻源26、一個(gè)或多個(gè)輸入/輸出裝置34、處理器28、存儲(chǔ)器30和顯示裝置36。
(一個(gè)或多個(gè))視頻/圖像源26可代表例如電視接收機(jī)、VCR或其它視頻/圖像存儲(chǔ)裝置。源26或者可以代表一個(gè)或多個(gè)網(wǎng)絡(luò)連接，其用于通過(guò)諸如因特網(wǎng)的全球計(jì)算機(jī)通信網(wǎng)絡(luò)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、陸地廣播系統(tǒng)、有線電視網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)、電話網(wǎng)絡(luò)以及這些或其它類型的網(wǎng)絡(luò)的部分或組合，從一個(gè)或多個(gè)服務(wù)器接收視頻。
輸入/輸出裝置34、處理器28、存儲(chǔ)器30通過(guò)通信介質(zhì)32通信。通信介質(zhì)32例如可以代表總線、通信網(wǎng)絡(luò)和電路、電路卡或其它裝置的一個(gè)或多個(gè)內(nèi)部連接，以及這些或其它通信介質(zhì)的部分或組合。來(lái)自源26的輸入視頻數(shù)據(jù)，按照一個(gè)或多個(gè)存儲(chǔ)在存儲(chǔ)器30中并被處理器28執(zhí)行的軟件程序被處理，以便生成向顯示裝置36提供的輸出視頻/圖像。
特別地，在存儲(chǔ)器30中存儲(chǔ)的軟件程序包括如前文關(guān)于圖3和圖5所描述的基于小波的編碼。在這個(gè)實(shí)施例中，基于小波的編碼由該系統(tǒng)所執(zhí)行的計(jì)算機(jī)可讀代碼實(shí)現(xiàn)。該代碼可以存儲(chǔ)在存儲(chǔ)器30中，或者被從諸如CD-ROM或軟盤的存儲(chǔ)介質(zhì)中讀取/下載。在其它實(shí)施例中，可以用硬件電路代替軟件指令或與軟件指令組合，以實(shí)現(xiàn)本發(fā)明。
盡管以上是就特定例子描述了本發(fā)明的，應(yīng)當(dāng)明白，這并非要把本發(fā)明局限于或限定于本文中所公開的例子。因此，本發(fā)明要包括包含在所附權(quán)利要求書的精神和范圍內(nèi)的各種結(jié)構(gòu)及其修改。
權(quán)利要求
1.一種用于編碼視頻的方法，包含以下步驟將第一幀中的第一區(qū)域與第二幀中的第二區(qū)域相匹配；產(chǎn)生包括第一與第二區(qū)域的像素值之間的差的第一部分編碼的幀；產(chǎn)生包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀；和將第一和第二部分編碼的幀變換成小波系數(shù)。
2.權(quán)利要求1的方法，進(jìn)一步包括按照重要性信息編碼所述小波系數(shù)。
3.權(quán)利要求1的方法，進(jìn)一步包括熵編碼所述小波系數(shù)。
4.權(quán)利要求1的方法，進(jìn)一步包括把第一與第二區(qū)域的像素值之間的差乘以一個(gè)縮放因子。
5.權(quán)利要求1的方法，進(jìn)一步包括把或者第一區(qū)域或者第二區(qū)域的像素值乘以一個(gè)縮放因子。
6.權(quán)利要求1的方法，進(jìn)一步包括將第一幀中的第三區(qū)域與第二幀中的第四區(qū)域相匹配；在第二部分編碼的幀中包括第三和第四區(qū)域的像素值的平均。
7.權(quán)利要求6的方法，進(jìn)一步包括把第三和第四區(qū)域的像素值的平均乘以一個(gè)縮放因子。
8.權(quán)利要求1的方法，其中，如果匹配指標(biāo)的質(zhì)量高于預(yù)定的閾值，則產(chǎn)生包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀。
9.權(quán)利要求1的方法，其中，如果用來(lái)編碼第二部分解碼的幀的比特的個(gè)數(shù)小于將第一和第二區(qū)域的像素值的平均包括在第二部分編碼的幀中的情況，則產(chǎn)生包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀。
10.一種包括用于編碼視頻的代碼的存儲(chǔ)器介質(zhì)，該代碼包含用于將第一幀中的第一區(qū)域與第二幀中的第二區(qū)域相匹配的代碼；用于產(chǎn)生包括第一與第二區(qū)域的像素值之間的差的第一部分編碼的幀的代碼；用于產(chǎn)生包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀的代碼；和用于將第一和第二部分編碼的幀變換成小波系數(shù)的代碼。
11.一種用于編碼視頻的裝置，包含運(yùn)動(dòng)估計(jì)單元，用于將第一幀中的第一區(qū)域與第二幀中的第二區(qū)域相匹配；時(shí)間濾波單元，用于產(chǎn)生包括第一與第二區(qū)域的像素值之間的差的第一部分編碼的幀以及包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀；和空間分解單元，用于將第一和第二部分編碼的幀變換成小波系數(shù)。
12.一種用于解碼比特流的方法，包含熵解碼比特流，以產(chǎn)生小波系數(shù)；把小波系數(shù)變換成包括一個(gè)被濾波的區(qū)域的第一部分解碼的幀和包括一個(gè)未濾波的區(qū)域的第二部分解碼的幀；產(chǎn)生包括組合的被濾波區(qū)域和未濾波區(qū)域的像素值的第一幀；和產(chǎn)生包括未濾波區(qū)域的像素值的第二幀。
13.權(quán)利要求12的方法，進(jìn)一步包括把被濾波區(qū)域按一個(gè)縮放因子進(jìn)行分割。
14.權(quán)利要求12的方法，進(jìn)一步包括把未濾波區(qū)域按一個(gè)縮放因子進(jìn)行分割。
15.權(quán)利要求12的方法，其中，被濾波區(qū)域和未濾波區(qū)域的像素值通過(guò)減法而被組合。
16.權(quán)利要求12的方法，其中，被濾波區(qū)域和未濾波區(qū)域的像素值通過(guò)加法而被組合。
17.權(quán)利要求12的方法，其中，未濾波區(qū)域包括兩個(gè)被匹配區(qū)域之一的像素值。
18.權(quán)利要求12的方法，其中，被濾波區(qū)域包括來(lái)自兩個(gè)被匹配區(qū)域的像素值的差。
19.權(quán)利要求12的方法，進(jìn)一步包括按照重要性信息解碼所述小波系數(shù)。
20.一種用于解碼比特流的裝置，包含熵解碼單元，用于將比特流解碼成小波系數(shù)；空間分解單元，用于把小波系數(shù)變換成包括一個(gè)被濾波的區(qū)域的第一部分解碼的幀和包括一個(gè)未濾波的區(qū)域的第二部分解碼的幀；以及逆時(shí)間濾波單元，用于產(chǎn)生包括組合的被濾波區(qū)域和未濾波區(qū)域的像素值的第一幀和包括未濾波區(qū)域的像素值的第二幀。
21.一種包括用于解碼比特流的代碼的存儲(chǔ)器介質(zhì)，該代碼包含用于熵解碼比特流以產(chǎn)生小波系數(shù)的代碼；用于把小波系數(shù)變換成包括一個(gè)被濾波的區(qū)域的第一部分解碼的幀和包括一個(gè)未濾波的區(qū)域的第二部分解碼的幀的代碼；用于產(chǎn)生包括組合的被濾波區(qū)域和未濾波區(qū)域的像素值的第一幀的代碼；和用于產(chǎn)生包括未濾波區(qū)域的像素值的第二幀的代碼。
全文摘要
本發(fā)明涉及一種用于編碼視頻的方法和裝置。按照本發(fā)明，將第一幀中的第一區(qū)域與第二幀中的第二區(qū)域相匹配。產(chǎn)生包括第一與第二區(qū)域的像素值之間的差的第一部分編碼的幀。產(chǎn)生包括或者第一區(qū)域或者第二區(qū)域的像素值的第二部分編碼的幀。此外，將第一和第二部分編碼的幀變換成小波系數(shù)。
文檔編號(hào)H04N7/36GK1689045SQ03823594
公開日2005年10月26日 申請(qǐng)日期2003年9月22日 優(yōu)先權(quán)日2002年10月4日
發(fā)明者D·S·圖拉加, M·范德沙爾 申請(qǐng)人:皇家飛利浦電子股份有限公司