專利名稱：用于對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法和設(shè)備，及用于對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對(duì)視頻數(shù)據(jù)進(jìn)行編碼的方法和設(shè)備，以及涉 及一種用于對(duì)視頻數(shù)據(jù)進(jìn)行解碼的方法和設(shè)備。
背景技術(shù)：
H.264/AVC標(biāo)準(zhǔn)提供了極好的編碼效率，但是它不考慮可擴(kuò)展視 頻編碼(SVC)。 SVC提供了不同層，通常是基本層(BL)和增強(qiáng)層 (EL)。運(yùn)動(dòng)圖像專家組(MPEG)作用于視頻編解碼器的增強(qiáng)功能性。 已經(jīng)提供了各種技術(shù)，并且聯(lián)合視頻組織(JVT)啟動(dòng)了一項(xiàng)稱為JSVC 的標(biāo)準(zhǔn)以及相應(yīng)的參考軟件(JSVM)。 SVC為應(yīng)用提供了時(shí)間、SNR 和空間可擴(kuò)展性。JSVM的BL遵從H.264，按照規(guī)范，H.264中的大 部分組件用于JSVM，因此僅需要根據(jù)子帶結(jié)構(gòu)來(lái)調(diào)整少量組件。在 所有可擴(kuò)展性中，空間可擴(kuò)展性是最具挑戰(zhàn)并最受人關(guān)注的，因?yàn)楹?難利用兩個(gè)空間可擴(kuò)展層之間的冗余。
SVC為空間可擴(kuò)展性提供了多種技術(shù)，諸如IntmBL模式、殘差 預(yù)測(cè)或BLSkip (基本層跳過)模式?？梢栽诤陦K(MB)水平上選擇 這些模式。
IntraBL模式使用上采樣的重構(gòu)BL圖像來(lái)預(yù)測(cè)EL中的MB，并 只對(duì)殘差進(jìn)行編碼。殘差預(yù)測(cè)嘗試通過減去BL的上采樣運(yùn)動(dòng)補(bǔ)償 (MC)殘差來(lái)減少EL中的MC殘差的能量。BLSkip模式將上采樣 BL運(yùn)動(dòng)向量(MV)用于EL中的MB，并且如果MB選擇了這種模 式，則僅需要將殘差寫進(jìn)比特流。因此，在空間可擴(kuò)展情況下，BLSkip 模式利用BL的MV和EL的MV之間的冗余。
對(duì)于包括SVC中的P圖像和B圖像的幀間(inter)編碼圖像，
將殘差預(yù)測(cè)用于減少殘差的能量以改善編碼效率?；舅枷胧鞘紫韧?br> 過對(duì)相應(yīng)BL圖像的殘差信號(hào)進(jìn)行上采樣來(lái)獲得預(yù)測(cè)殘差，其中使用 2抽頭(tap)雙線性濾波器。然后，從源自EL的運(yùn)動(dòng)估計(jì)的真實(shí)殘 差中減去預(yù)測(cè)殘差，并通過DCT、熵編碼等對(duì)差值進(jìn)行編碼。
通常，逐MB地、針對(duì)由4X4， 8X8， 16X16的子塊組成的每 個(gè)MB、并基于MC精確度來(lái)進(jìn)行殘差上采樣。例如，如果MC精確 度是16X16，則整個(gè)16X16僅使用一個(gè)運(yùn)動(dòng)向量；如果MC精確度 是8X8，則每四個(gè)8X8的子塊都可以具有不同的運(yùn)動(dòng)向量。針對(duì)不 同的8X8子塊的殘差具有低相關(guān)性，因此對(duì)四個(gè)不同子塊進(jìn)行上采樣 處理。SVC利用簡(jiǎn)單的2抽頭雙線性濾波器，首先在水平方向然后在 垂直方向上執(zhí)行上采樣過程。相應(yīng)的濾波器作用于MB水平，并因此 無(wú)法橫跨8X8塊的邊界。
針對(duì)上述過程的選項(xiàng)是針對(duì)特定MB是否使用殘差預(yù)測(cè)。模式判 決過程嘗試了不同的模式，全部使用或不用殘差預(yù)測(cè)。這被稱為自適 應(yīng)殘差預(yù)測(cè)。
由H.264/SVC所采用的典型幀結(jié)構(gòu)包含兩個(gè)幀內(nèi)編碼的參考幀， 將其用在接收機(jī)處以用于即時(shí)解碼器刷新(IDR);以及多個(gè)幀內(nèi)編碼 或幀間編碼幀，其構(gòu)成多個(gè)GOP (圖像組)。可以內(nèi)插或預(yù)測(cè)幀間編 碼的幀。在小波分解中，GOP的EL典型地包括多個(gè)高通幀，其后跟 著一個(gè)低通幀。低通幀用于在前和隨后的高通幀，即用于兩個(gè)GOP。

發(fā)明內(nèi)容
對(duì)于編碼器和解碼器而言，使用預(yù)測(cè)殘差都是非常復(fù)雜的過程。 因此，需要能夠使用較少?gòu)?fù)雜度的編碼器和/或解碼器的簡(jiǎn)化處理。禁 用殘差預(yù)測(cè)將使解碼器復(fù)雜度降低大約2的因子，但它同時(shí)降低了編 碼效率。另一方面，自適應(yīng)殘差預(yù)測(cè)是非常有潛力的技術(shù)，其針對(duì)同 一目標(biāo)質(zhì)量將編碼效率改進(jìn)了大約5-10% (基于PSNR)。通常地，希
望實(shí)質(zhì)上保持或甚至改進(jìn)編碼和解碼過程的效率水平。因此啟用殘差 預(yù)測(cè)是合理的。但是，例如對(duì)于實(shí)時(shí)應(yīng)用，如果對(duì)每個(gè)圖像都啟用殘 差預(yù)測(cè)，那么已知解碼器對(duì)于例如雙層(QCIF/CIF)空間可擴(kuò)展比特
流的實(shí)時(shí)解碼而言過于緩慢。
本發(fā)明提供了簡(jiǎn)化的殘差預(yù)測(cè)技術(shù)，其關(guān)注于降低空間可擴(kuò)展EL
的編碼和/或解碼復(fù)雜度，而僅稍微降低或甚至提高了編碼效率。
根據(jù)本發(fā)明的一個(gè)方面， 一種用于對(duì)包含高通幀和低通幀的視頻 數(shù)據(jù)進(jìn)行編碼的方法(其中，該編碼基于預(yù)測(cè)和更新步驟)包括以下
步驟
對(duì)低通幀進(jìn)行編碼，其中可以使用殘差預(yù)測(cè)；
例如通過根據(jù)其序號(hào)(即，使用固定光柵(raster))將每個(gè)高通 幀分配給一個(gè)組，將高通幀分裂成兩個(gè)(優(yōu)選為交錯(cuò)的)幀組；
對(duì)所述幀組的第一幀組中的幀進(jìn)行編碼，其中可以使用殘差預(yù) 測(cè)；以及
使用無(wú)殘差預(yù)測(cè)的編碼方法來(lái)對(duì)第二幀組中的幀進(jìn)行編碼，即對(duì) 于這些幀，禁止殘差預(yù)測(cè)。
在本發(fā)明的這個(gè)方面的優(yōu)選實(shí)施例中，對(duì)第一幀組中的幀進(jìn)行編 碼包括模式選擇，其中沒有一種可能的編碼模式使用宏塊水平上的殘 差預(yù)測(cè)。然而，在一個(gè)實(shí)施例中，針對(duì)第一幀組的編碼模式中的至少 一種模式使用幀水平上的殘差預(yù)測(cè)，這里將其稱為"簡(jiǎn)化的殘差預(yù)測(cè)"。 對(duì)于簡(jiǎn)化的殘差預(yù)測(cè)，優(yōu)選地根據(jù)EL的信息來(lái)產(chǎn)生EL殘差，而不使 用BL殘差。
在特別優(yōu)選的實(shí)施例中，第一幀組包括偶高通幀，第二幀組包括 奇高通幀。
具體地，本發(fā)明對(duì)于屬于可擴(kuò)展視頻信號(hào)的增強(qiáng)層的那些高通和 低通幀是有利的。因此，提供了針對(duì)SVC的改進(jìn)并簡(jiǎn)化的殘差預(yù)測(cè)方 案。
由根據(jù)本發(fā)明的一個(gè)實(shí)施例的編碼器所產(chǎn)生的結(jié)果視頻信號(hào)包 括至少兩個(gè)空間可擴(kuò)展層BL和EL，其中EL包含編碼的低通幀數(shù) 據(jù)和編碼的高通幀數(shù)據(jù)，并且其中，編碼的高通幀數(shù)據(jù)包含編碼模式 指示，并可以被分裂成兩種類型或兩個(gè)組，這兩個(gè)組之一中的高通幀 數(shù)據(jù)包括用于指示是否是使用殘差預(yù)測(cè)而進(jìn)行編碼的指示，以及其中 的至少一些高通幀數(shù)據(jù)是使用幀水平而非MB水平上的殘差預(yù)測(cè)(簡(jiǎn)
化殘差預(yù)測(cè))進(jìn)行編碼的，這兩個(gè)組中的另一個(gè)組的高通幀數(shù)據(jù)在不 使用殘差預(yù)測(cè)的情況下被編碼。因此，這些幀不需要包含這種殘差預(yù) 測(cè)指示。第二組中的幀數(shù)據(jù)包含在不使用任何殘差預(yù)測(cè)的情況下完全 編碼的殘差圖像。
因此，對(duì)于第二高通幀組，可以跳過殘差預(yù)測(cè)，并且可以在幀水
平而非MB水平上對(duì)第一高通幀組執(zhí)行殘差預(yù)測(cè)。這導(dǎo)致編碼器以及 解碼器的復(fù)雜度降低，因?yàn)槔?，在編碼以及解碼過程中不需要將幀 分裂成塊。
作為示例，如果GOP的大小是16，則它的結(jié)構(gòu)是(未示出在前 的IDR幀，P是預(yù)測(cè)幀，Bx是雙線性預(yù)測(cè)幀)Pl Bl B2B3B4B5B6 B7 B8 B9 BIO Bll B12 B13 B14 B15 P2。根據(jù)本發(fā)明的優(yōu)選實(shí)施例， 對(duì)以下奇幀不進(jìn)行殘差預(yù)測(cè)Bl， B3， B5， B7， B9， Bll， B13， B15。對(duì)以下偶幀進(jìn)行簡(jiǎn)化的自適應(yīng)殘差預(yù)測(cè)B2， B4， B6， B8， BIO， B12， B14。對(duì)以下幀進(jìn)行原始的傳統(tǒng)自適應(yīng)預(yù)測(cè)編碼Pl P2。
有利地，對(duì)于根據(jù)本發(fā)明的編碼方法，不需要將幀分裂成MB。
用于對(duì)包含高通幀和低通幀的視頻數(shù)據(jù)進(jìn)行編碼的相應(yīng)設(shè)備(其 中，該編碼基于預(yù)測(cè)和更新步驟)包括-
用于對(duì)低通幀進(jìn)行編碼的裝置，其中可以使用殘差預(yù)測(cè)；
用于例如通過按照高通幀的序號(hào)將每個(gè)高通幀分配給一個(gè)組，將 高通幀分裂成兩個(gè)(優(yōu)選地為交錯(cuò)的)幀組的裝置；
用于對(duì)所述幀組的第一幀組中的幀進(jìn)行編碼的裝置，其中，可以 使用殘差預(yù)測(cè)；以及
用于使用無(wú)殘差預(yù)測(cè)的編碼方法來(lái)對(duì)第二幀組中的幀進(jìn)行編碼 的裝置。此外，該設(shè)備還包括用于將殘差預(yù)測(cè)指示標(biāo)記插入第一幀組 中的幀的裝置。
根據(jù)本發(fā)明的另一個(gè)方面， 一種用于對(duì)包含編碼高通幀和編碼低 通幀的視頻數(shù)據(jù)進(jìn)行解碼的方法(其中，至少對(duì)高通幀的解碼是基于 反向預(yù)測(cè)和反向更新步驟)包括以下步驟
根據(jù)由例如編碼模式標(biāo)記所指示的編碼模式來(lái)對(duì)低通幀進(jìn)行解
碼；
根據(jù)高通幀的順序(序號(hào))來(lái)確定該高通幀是屬于第一還是第二 幀組(Beven， B。dd);以及
對(duì)該高通幀進(jìn)行解碼，其中，如果該高通幀屬于第一幀組(Beve》， 則該解碼使用對(duì)用于反向預(yù)測(cè)和反向更新步驟的殘差的預(yù)測(cè)，以及如 果該高通幀屬于第二幀組，則在不經(jīng)預(yù)測(cè)的情況下獲得用于反向預(yù)測(cè) 和反向更新步驟的殘差。所述預(yù)測(cè)可以使用相應(yīng)的BL殘差的上采樣， 但是這在原理上也是另一種預(yù)測(cè)技術(shù)。
用于對(duì)包含編碼高通幀和編碼低通幀的視頻數(shù)據(jù)進(jìn)行解碼的相 應(yīng)設(shè)備(其中，至少對(duì)編碼高通幀的解碼是基于反向預(yù)測(cè)和反向更新 步驟)至少包括
用于根據(jù)低通幀的編碼模式對(duì)該低通幀進(jìn)行解碼的裝置；
用于根據(jù)高通幀的順序來(lái)確定該高通幀是屬于第一還是第二幀 組(Beven， B。dd)的裝置；以及
用于對(duì)該高通幀進(jìn)行解碼的裝置，其中，如果該高通幀屬于第一 幀組(Beven)，則該解碼裝置對(duì)用于反向預(yù)測(cè)和反向更新步驟的殘差執(zhí) 行預(yù)測(cè)，以及如果該高通幀屬于第二幀組，則在不經(jīng)預(yù)測(cè)的情況下獲 得用于反向預(yù)測(cè)和反向更新步驟的殘差。
在從屬權(quán)利要求、下面的說(shuō)明書和附圖中公開了本發(fā)明的有利實(shí) 施例。


參考附圖，對(duì)本發(fā)明的示例性實(shí)施例進(jìn)行描述，在附圖中
圖l示出了在水平方向上對(duì)殘差進(jìn)行上采樣的原理；
圖2示出了根據(jù)本發(fā)明的針對(duì)GOPSize=8的GOP的殘差預(yù)測(cè)方
案；
圖3示出了針對(duì)傳統(tǒng)殘差預(yù)測(cè)的塊邊界；以及 圖4示出了簡(jiǎn)化的殘差預(yù)測(cè)。
具體實(shí)施例方式
以下文本涉及幀以及圖像。在已經(jīng)提到幀的情況下，對(duì)圖像進(jìn)行
相同處理，反之亦然。
圖1示出了使用4X4運(yùn)動(dòng)估計(jì)精確度在水平方向上對(duì)殘差進(jìn)行 上采樣的原理。例如，SVC利用簡(jiǎn)單的2抽頭雙線性濾波器，首先在 水平方向上然后在垂直方向上執(zhí)行上采樣操作。通過平均兩個(gè)鄰近的 原始像素來(lái)產(chǎn)生上采樣像素值，并且上采樣像素的位置正好在兩個(gè)原 始像素中間，因此系數(shù)是[1/2， 1/2]。該2抽頭濾波器不能橫跨(cross) MB邊界。盡管在左邊界處不存在問題，但是右邊界處的上采樣像素 剛好是其最近的相鄰像素的拷貝。這被稱為"最近領(lǐng)域法"。
對(duì)于傳統(tǒng)的上采樣，首先可以將整個(gè)殘差圖像分裂成MB，然后 再分裂成子塊。這意味著針對(duì)小塊的多個(gè)存儲(chǔ)拷貝操作和上采樣步驟。 這是在啟用殘差預(yù)測(cè)時(shí)解碼器的高復(fù)雜度的主要原因。
本發(fā)明公開了通過自適應(yīng)地使用殘差預(yù)測(cè)、部分跳過殘差預(yù)測(cè)以 及修改殘差預(yù)測(cè)方法來(lái)降低編碼器的復(fù)雜度和解碼器的復(fù)雜度的方 法。
典型地，對(duì)于每個(gè)GOP都存在作為低通幀的一個(gè)P幀，例如如 果GOP大小為16，那么與低通幀相關(guān)聯(lián)的參數(shù)picture—id—inside—gop 是16。作為P或B幀的其它15個(gè)幀是具有不同分解等級(jí)的高通幀。 具有最高分解等級(jí)的幀是picture—idjnside—gop為奇數(shù)的那些1， 3， 5， 7， 9， 11， 13， 15。我們將那些圖像稱為奇圖像。在本發(fā)明 中，我們提出了兩種解決方案來(lái)取代傳統(tǒng)的殘差上采樣過程。
一種解決方案是使用傳統(tǒng)的上采樣方法來(lái)進(jìn)行殘差預(yù)測(cè)。然而， 該過程不是對(duì)塊而是對(duì)整個(gè)幀所執(zhí)行的。這表示2抽頭濾波器在到達(dá) 整個(gè)幀的邊界之前將忽略幀內(nèi)的任何邊界。因此，不需要將整個(gè)殘差 幀分裂成MB或子塊。
第二種解決方案是對(duì)于一些幀完全不進(jìn)行任何殘差預(yù)測(cè)，因?yàn)橐?旦使用殘差預(yù)測(cè)(為了提高編碼效率)，則將在模式判決過程中選擇自 適應(yīng)類型。換言之，在模式判決期間，與運(yùn)動(dòng)補(bǔ)償相關(guān)的所有模式將 嘗試兩種不同的子模式具有殘差預(yù)測(cè)的模式或者無(wú)殘差預(yù)測(cè)的模式。 將用于指示選擇了哪種模式的標(biāo)記(residual_prediction—flag)寫入圖 像中的每個(gè)MB。
如實(shí)驗(yàn)所示，低通圖像具有使用殘差預(yù)測(cè)的高概率。典型地，低
通圖像的大約30%的MB將啟用residual_prediction_flag。然而，已經(jīng) 發(fā)現(xiàn)高通圖像的分解級(jí)越高，則越少M(fèi)B使用殘差預(yù)測(cè)。對(duì)于最高 分解級(jí)圖像(奇圖像)，僅有極少數(shù)的MB啟用residual_prediction—flag。
根據(jù)本發(fā)明，將GOP的高通幀分裂成兩個(gè)交錯(cuò)組，以及針對(duì)這 兩個(gè)組之一中的幀或圖像，在幀水平上進(jìn)行殘差預(yù)測(cè)，而對(duì)另一組中 的所有幀，禁止殘差預(yù)測(cè)，由此可以在模式判決期間跳過殘差預(yù)測(cè)。
在本發(fā)明的一個(gè)實(shí)施例中，對(duì)于所有奇圖像，禁止殘差預(yù)測(cè)。
有利地，即使完全不進(jìn)行殘差預(yù)測(cè)，觀眾通常也不會(huì)注意到速率 失真(RD)表現(xiàn)，因?yàn)閮H改變了少數(shù)MB的模式。另一個(gè)重要原因是 當(dāng)不對(duì)整個(gè)圖像中的任何MB進(jìn)行殘差預(yù)測(cè)時(shí)，每個(gè)MB將節(jié)省 residual_prediction—flag的1比特。甚至在熵編碼之后，將節(jié)省一些比 特，從而改進(jìn)了對(duì)于奇圖像的編碼效率。
實(shí)際上，從復(fù)雜度來(lái)看，如果禁用殘差預(yù)測(cè)，則因?yàn)閷⑻^對(duì)每 個(gè)MB的上采樣過程，這在解碼過程中將節(jié)省大約一半計(jì)算努力。這 對(duì)于實(shí)時(shí)解碼器是有利的。
降低解碼器復(fù)雜度的另一個(gè)方法是對(duì)于其它高通圖像(即偶高 通圖像)，我們基于整個(gè)幀來(lái)進(jìn)行殘差上采樣。優(yōu)點(diǎn)是實(shí)際上我們不 需要檢測(cè)運(yùn)動(dòng)估計(jì)(ME)塊的邊界，并且在整個(gè)幀中以相同方式實(shí)現(xiàn) 2抽頭濾波器，直到到達(dá)幀邊界。因此，在殘差上采樣之前，我們不 需要將整個(gè)殘差幀分裂成塊。因此，對(duì)于小塊，我們節(jié)省了分裂時(shí)間 和存儲(chǔ)移動(dòng)時(shí)間。
如圖2所示，對(duì)于低通圖像，利用原始的自適應(yīng)殘差預(yù)測(cè)(ORP)，
以保持高編碼效率。對(duì)于最高分解級(jí)，例如具有奇值 picturejd—inside—gop的幀，不使用殘差預(yù)測(cè)(NRP)，并針對(duì)這些幀 中的每個(gè)MB，節(jié)省了 residual_prediction—flag。針對(duì)其它高通幀 (picture—id—inside—gop=2， 4， 6)，我們可以選擇使用弱殘差預(yù)測(cè)方 案，比如上述簡(jiǎn)化的殘差預(yù)測(cè)(SRP)。
圖3和圖4示出了殘差預(yù)測(cè)和簡(jiǎn)化殘差預(yù)測(cè)之間的差別。在當(dāng)前 JVSM中，以塊進(jìn)行殘差預(yù)測(cè)。當(dāng)在圖3中濾波器碰到ME塊的邊界
時(shí)，該濾波器將停止，并且將使用如圖l所示的最近領(lǐng)域法來(lái)預(yù)測(cè)上 采樣殘差的邊界。然而，為了降低復(fù)雜度，我們選擇對(duì)針對(duì)一些高通 圖像所采用的殘差預(yù)測(cè)過程進(jìn)行簡(jiǎn)化。在進(jìn)行殘差預(yù)測(cè)的情況下，不
再需要基于MB水平。因此，不需要對(duì)整個(gè)殘差幀進(jìn)行分裂，以及不 需要多個(gè)存儲(chǔ)操作。對(duì)于2抽頭濾波器，在巻積操作到達(dá)幀的右或底 邊界(如圖4所示)之前，沒有差別。圖3和圖4中的邊界都用于巻 積操作。
原則上，還可以彼此獨(dú)立地或者與其它模式結(jié)合地使用上述兩種 技術(shù)針對(duì)至少一些幀的簡(jiǎn)化殘差預(yù)測(cè)以及針對(duì)至少一些其它幀的殘 差預(yù)測(cè)的跳過。例如，可以將高通幀分裂成三組， 一組使用傳統(tǒng)編碼， 第二組使用簡(jiǎn)化的殘差預(yù)測(cè)，以及第三組跳過殘差預(yù)測(cè)。
此外，可以采用其它交錯(cuò)方案，而不是將偶高通幀分配給一個(gè)組
以及將奇高通幀分配給另一個(gè)組。例如，可以使用以下方案
不對(duì)以下幀進(jìn)行殘差預(yù)測(cè)Bl-B3， B5-B7， B9-B11， B13-B15; 對(duì)以下幀進(jìn)行簡(jiǎn)化的自適應(yīng)殘差預(yù)測(cè)B4， B8， B12;
以及，對(duì)以下幀進(jìn)行原始的自適應(yīng)殘差預(yù)測(cè)P1P2。 例如，另一個(gè)可能的方案是將先前所描述的針對(duì)"無(wú)殘差預(yù)測(cè)" 的組與針對(duì)"簡(jiǎn)化的自適應(yīng)殘差預(yù)測(cè)"的組進(jìn)行交換。
當(dāng)解碼器接收到來(lái)自于根據(jù)本發(fā)明的編碼方法的視頻信號(hào)時(shí)，它 能夠根據(jù)特定B幀的序號(hào)來(lái)確定是否跳過對(duì)該幀的殘差預(yù)測(cè)例如， 所有奇幀跳過殘差預(yù)測(cè)。備選地，可以估計(jì)該幀是否包含用于指示是
否已經(jīng)使用殘差預(yù)測(cè)的residual_prediction—flag。如果不存在此標(biāo)記， 則解碼器可以推斷在編碼過程中跳過了殘差預(yù)測(cè)。
自適應(yīng)殘差預(yù)測(cè)表示還將對(duì)其它可能的模式進(jìn)行測(cè)試，例如 inter4X4、 interl6X16 、 inter8X8。因此，當(dāng)我們提到自適應(yīng)殘差預(yù) 測(cè)時(shí)，可以使用或不使用殘差預(yù)測(cè)來(lái)對(duì)所有這些模式進(jìn)行測(cè)試。因此， 在本發(fā)明的優(yōu)選實(shí)施例中，將模式選擇用于所有高通幀(81，...，815)，
但是
-對(duì)于偶幀，編碼器可以在不同模式之間進(jìn)行選擇，每種模式使 用或不使用殘差預(yù)測(cè)；
如果選擇殘差預(yù)測(cè)，則將在幀水平上進(jìn)行殘差預(yù)測(cè)，即簡(jiǎn)化的殘
-對(duì)于奇幀，編碼器也可以在不同模式之間進(jìn)行選擇，但對(duì)于任 意模式都不允許進(jìn)行殘差預(yù)測(cè)，即禁用殘差預(yù)測(cè)。
因此，高通幀包括示出了如何對(duì)其進(jìn)行編碼的指示(例如標(biāo)記)。 因此，在編碼期間需要進(jìn)行兩次判決。第一對(duì)于幀是否使用殘 差預(yù)測(cè)。指示這一項(xiàng)的標(biāo)記已經(jīng)是運(yùn)動(dòng)參數(shù)集合(PPS)的一部分， 因此它是編碼器的問題。第二是如何進(jìn)行殘差預(yù)測(cè)簡(jiǎn)化或原始類型。 為了指示此判決的結(jié)果， 一種可能性是將標(biāo)記添加到PPS中，然而該 PPS優(yōu)選地應(yīng)該是標(biāo)準(zhǔn)化的。然后，解碼器可以根據(jù)此標(biāo)記來(lái)檢測(cè)相 應(yīng)的解碼方法。
在本發(fā)明中，基于殘差預(yù)測(cè)對(duì)于幀間(高通)圖像的不同分解等 級(jí)的不同重要性，提出了一種可以在很大程度上降低解碼器復(fù)雜度的 簡(jiǎn)化解決方案。
本發(fā)明可用于視頻編碼和解碼，尤其當(dāng)視頻包含兩個(gè)或更多空間 可擴(kuò)展層并使用例如從運(yùn)動(dòng)估計(jì)中所產(chǎn)生的殘差時(shí)。
權(quán)利要求
1.一種用于對(duì)包含通過使用運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)的時(shí)間小波分解所獲得的高通幀和低通幀的視頻數(shù)據(jù)進(jìn)行編碼的方法，其中所述編碼基于預(yù)測(cè)和更新步驟，所述方法包括以下步驟-對(duì)低通幀進(jìn)行編碼，其中可使用幀水平上的殘差預(yù)測(cè)(ORP)；-將高通幀分裂成兩個(gè)交錯(cuò)的幀組；-對(duì)所述幀組的第一幀組中的幀進(jìn)行編碼，其中可使用幀水平上的殘差預(yù)測(cè)；以及-使用無(wú)殘差預(yù)測(cè)(NoRP)的編碼方法來(lái)對(duì)第二幀組中的幀進(jìn)行編碼。
2. 根據(jù)權(quán)利要求1所述的方法，其中，對(duì)第一幀組中的幀進(jìn)行編 碼的步驟包括選擇多個(gè)編碼模式之一，其中，可能的編碼模式中的至 少一個(gè)模式使用幀水平上的殘差預(yù)測(cè)(SRP)，但是沒有一個(gè)可能的編 碼模式使用宏塊水平上的殘差預(yù)測(cè)。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述第一幀組包括偶高通幀，以及所述第二幀組包括奇高通幀。
4. 根據(jù)權(quán)利要求1到3之一所述的方法，其中，對(duì)所述第二幀組 中的幀進(jìn)行編碼的步驟包括模式選擇。
5. —種包括至少兩個(gè)空間可擴(kuò)展層(BL， EL)的視頻信號(hào)，其中， 較高層(EL)包含通過使用運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)的時(shí)間小波 分解所獲得的編碼低通幀數(shù)據(jù)(Pl， P2)和編碼高通幀數(shù)據(jù)(Bl，...， B15)，以及其中，所述編碼高通幀數(shù)據(jù)包含編碼模式指示，并且可被 分裂成兩個(gè)組，所述分裂基于幀的順序，所述兩個(gè)組中的一個(gè)組(BeveJ 的幀數(shù)據(jù)包含用于指示該幀是否是使用殘差預(yù)測(cè)進(jìn)行編碼的指示，以 及所述幀中的至少一些是使用幀水平上而非MB水平上的殘差預(yù)測(cè)(簡(jiǎn)化殘差預(yù)測(cè))進(jìn)行編碼的，以及所述兩個(gè)組中的另一個(gè)組(B。dd)中的高通幀數(shù)據(jù)在不使用殘差預(yù)測(cè)的情況下被編碼。
6. —種用于對(duì)包含編碼高通幀和編碼低通幀的視頻數(shù)據(jù)進(jìn)行解碼的方法，其中，至少對(duì)高通幀的解碼是基于反向預(yù)測(cè)和反向更新步驟 的，所述方法包括以下步驟-根據(jù)所述低通幀的編碼模式來(lái)對(duì)所述低通幀進(jìn)行解碼； -根據(jù)高通幀的順序來(lái)確定所述高通幀是屬于第一還是第二幀組 (Beven ， B0dd ) 5-對(duì)所述高通幀進(jìn)行解碼，其中，如果所述高通幀屬于第一幀組(Be^)，則所述解碼使用對(duì)用于反向預(yù)測(cè)和反向更新步驟的殘差的幀 水平上的預(yù)測(cè)，以及如果所述高通幀屬于第二幀組，則在不經(jīng)預(yù)測(cè)的 情況下獲得用于反向預(yù)測(cè)和反向更新步驟的殘差。
7. —種用于對(duì)視頻數(shù)據(jù)進(jìn)行編碼的設(shè)備，所述視頻數(shù)據(jù)包含通過使用運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)的時(shí)間小波分解所獲得的高通幀和 低通幀，其中，所述編碼基于預(yù)測(cè)和更新步驟，所述編碼設(shè)備包括 -用于對(duì)低通幀進(jìn)行編碼的裝置，其中可使用幀水平上的殘差預(yù)測(cè)；-用于將高通幀分裂成兩個(gè)交錯(cuò)幀組的裝置；-用于對(duì)所述幀組的第一幀組中的幀進(jìn)行編碼的裝置，其中，可 使用幀水平上的殘差預(yù)測(cè)；以及-用于使用無(wú)殘差預(yù)測(cè)(NoRP)的編碼方法來(lái)對(duì)第二幀組中的幀 進(jìn)行編碼的裝置。
8. 如前一權(quán)利要求所述的設(shè)備，其中，用于對(duì)第二幀組中的幀進(jìn)行編碼的裝置包括用于執(zhí)行模式選擇的裝置。
9. 一種對(duì)視頻數(shù)據(jù)進(jìn)行解碼的設(shè)備，所述視頻數(shù)據(jù)包含編碼高通幀和編碼低通幀，其中，至少對(duì)編碼高通幀的解碼是基于幀水平上的 反向預(yù)測(cè)和反向更新步驟的，所述設(shè)備包括-用于根據(jù)低通幀的編碼模式來(lái)對(duì)所述低通幀進(jìn)行解碼的裝置； -用于根據(jù)高通幀的順序來(lái)確定所述高通幀是屬于第一還是第二 幀組(Beven， B。dd)的裝置；-用于對(duì)所述高通幀進(jìn)行解碼的裝置，其中，如果所述高通幀屬 于第一幀組(Beven)，則解碼裝置對(duì)用于反向預(yù)測(cè)和反向更新步驟的殘 差執(zhí)行幀水平上的預(yù)測(cè)，以及如果所述高通幀屬于第二幀組，則在不 經(jīng)預(yù)測(cè)的情況下獲得用于反向預(yù)測(cè)和反向更新步驟的殘差。 IO,根據(jù)之前任一權(quán)利要求所述的方法或設(shè)備，其中，針對(duì)較高層(EL)的幀的殘差預(yù)測(cè)包括對(duì)較低層(BL)的相應(yīng)幀的殘差進(jìn)行上采 樣。
全文摘要
基于H.264/AVC的可擴(kuò)展視頻編碼(SVC)使用運(yùn)動(dòng)補(bǔ)償，運(yùn)動(dòng)補(bǔ)償導(dǎo)致運(yùn)動(dòng)向量和殘差畫面。為了優(yōu)化對(duì)增強(qiáng)層的殘差畫面的編碼，可以根據(jù)基本層對(duì)其進(jìn)行預(yù)測(cè)。這需要復(fù)雜的編碼器和解碼器。提供了簡(jiǎn)化的殘差預(yù)測(cè)技術(shù)，其關(guān)注于在優(yōu)化編碼效率的同時(shí)降低對(duì)空間可擴(kuò)展的增強(qiáng)層的編碼和解碼的復(fù)雜度。一種用于對(duì)包含高通幀和低通幀的視頻數(shù)據(jù)進(jìn)行編碼的方法包括步驟對(duì)低通幀進(jìn)行編碼，其中可以使用殘差預(yù)測(cè)(ORP)；將高通幀分裂成兩個(gè)交錯(cuò)的幀組；對(duì)所述幀組的第一幀組中的幀進(jìn)行編碼，其中可以使用殘差預(yù)測(cè)；以及使用無(wú)殘差預(yù)測(cè)(NoRP)的編碼方法來(lái)對(duì)第二幀組中的幀進(jìn)行編碼。
文檔編號(hào)H04N7/26GK101180882SQ200680017852
公開日2008年5月14日 申請(qǐng)日期2006年5月3日 優(yōu)先權(quán)日2005年5月27日
發(fā)明者翟杰夫, 凱 謝, 穎 陳, 奎 高 申請(qǐng)人:湯姆森許可貿(mào)易公司