專利名稱：使用基礎(chǔ)層的可伸縮性視頻編碼方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
根據(jù)本發(fā)明的設(shè)備和方法涉及視頻壓縮，更具體地講，涉及通過使用基礎(chǔ)層在可 伸縮性視頻編解碼器中更有效地進(jìn)行時(shí)間濾波。
背景技術(shù)：
如互聯(lián)網(wǎng)的通信技術(shù)的發(fā)展已經(jīng)引起除文本和語(yǔ)音通信之外的視頻通信的增加。 然而，消費(fèi)者已經(jīng)不滿足現(xiàn)存的基于文本的通信方案。為了滿足各種消費(fèi)者的需求，包含 包括文本、圖像、音樂等的各種信息的多媒體數(shù)據(jù)已經(jīng)被越來越多地被提供。多媒體數(shù)據(jù) 通常容量很大，其需要大容量的存儲(chǔ)介質(zhì)。另外，傳輸多媒體數(shù)據(jù)需要寬帶寬。例如，具有 640X480分辨率的24比特真彩色的畫面需要每幀640 X 480 X 24比特，即7. 37兆比特。在 這方面，需要大約1200吉比特的帶寬以30幀/秒來傳輸此數(shù)據(jù)，需要大約1200吉比特的 存儲(chǔ)空間來存儲(chǔ)90分鐘的電影。考慮此，當(dāng)傳輸多媒體數(shù)據(jù)時(shí)必須使用壓縮編碼方案。數(shù)據(jù)壓縮的基本原理在于去除數(shù)據(jù)中的冗余。三種類型的數(shù)據(jù)冗余是空間冗余、 時(shí)間冗余和知覺視覺冗余?？臻g冗余是指圖像中相同顏色或物體的重復(fù)，時(shí)間冗余是指運(yùn) 動(dòng)畫面中相鄰幀之間很少或沒有變化或者音頻中相同聲音的連續(xù)重復(fù)，知覺視覺冗余是指 人類視覺的限制和不能聽到高頻。通過消除這些冗余，數(shù)據(jù)可被壓縮。數(shù)據(jù)壓縮類型根據(jù) 源數(shù)據(jù)是否丟失被分為有損/無損壓縮，根據(jù)數(shù)據(jù)是否相對(duì)每一幀被獨(dú)立地壓縮被分為幀 內(nèi)/幀間壓縮，根據(jù)數(shù)據(jù)的壓縮和恢復(fù)是否涉及相同的時(shí)間周期被分為對(duì)稱/非對(duì)稱壓縮。 另外，當(dāng)壓縮和解壓縮中總的端到端延時(shí)不超過50ms時(shí)，這被稱為實(shí)時(shí)壓縮。當(dāng)幀具有多 種分辨率時(shí)，這被稱為可伸縮性壓縮。無損壓縮被主要用于壓縮文本數(shù)據(jù)或醫(yī)學(xué)數(shù)據(jù)中，有 損壓縮被主要用于壓縮多媒體數(shù)據(jù)。幀內(nèi)壓縮通常被用于消除空間冗余，幀間壓縮被用于 消除時(shí)間冗余。傳輸多媒體數(shù)據(jù)的傳輸媒介具有不同的能力。當(dāng)前使用的傳輸媒介具有多種傳輸 速度，覆蓋能夠以每秒幾十兆位的速率傳輸數(shù)據(jù)的超高速通信網(wǎng)絡(luò)，具有每秒384千比特 的傳輸速度的移動(dòng)通信網(wǎng)絡(luò)等。在如MPEG-1、MPEG-2、MPEG-4、H. 263和H. 264的傳統(tǒng)的視 頻編碼算法中，時(shí)間冗余通過運(yùn)動(dòng)補(bǔ)償來消除，空間冗余通過空間變化來消除。這些方案在 壓縮方面具有很好的性能，但是由于這些方案的主要算法采用遞歸方法，所以它們對(duì)于實(shí) 際可伸縮的比特流具有很小的靈活性。為此，近來研究已經(jīng)聚焦在基于小波的可伸縮性視頻編碼上?？缮炜s性視頻編碼 是指在空域中，即根據(jù)分辨率具有可伸縮性的視頻編碼?？缮炜s性具有使壓縮的比特流被 部分地解碼的特性，從而，具有各種分辨率的視頻可被播放。這里的術(shù)語(yǔ)“可伸縮性”被用于共同地指可用于控制視頻的分辨率的特定可伸縮 性、可用于控制視頻的質(zhì)量的信噪比(SNR)可伸縮性以及可用于控制視頻的幀率的時(shí)間可伸縮性，及其組合。如上所述，空間可伸縮性可基于小波變換來實(shí)現(xiàn)，SNR可伸縮性可基于量化來實(shí) 現(xiàn)。近來，已經(jīng)使用運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)以及無約束運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(UMCTF)來實(shí) 現(xiàn)時(shí)間可伸縮性。
圖1和2示出使用傳統(tǒng)MCTF濾波器的時(shí)間可伸縮性的示例性實(shí) 施例。具體地講， 圖1示出編碼器中的時(shí)間濾波，圖2示出解碼器中的逆時(shí)間濾波。在圖1中，L幀表示低通或平均幀，H幀表示高通或差幀。如圖所示，在編碼處理 中，低時(shí)間級(jí)上的幀對(duì)首先被時(shí)間濾波，從而將該幀變換為高于當(dāng)前時(shí)間級(jí)的時(shí)間級(jí)上的L 幀和H幀，變換的L幀被再次時(shí)間濾波并被變換為高于當(dāng)前時(shí)間級(jí)的時(shí)間級(jí)上的幀。這里， 通過參照在不同位置的作為參考幀的L幀或原始視頻幀執(zhí)行運(yùn)動(dòng)估計(jì)，隨后執(zhí)行時(shí)間濾波 來產(chǎn)生H幀。圖1借助箭頭表示H幀參照的參考幀。如圖所示，H幀可被雙向參照，或向后 或向前參照。其結(jié)果是，編碼器通過使用最高級(jí)上的L幀并保留已經(jīng)通過空間變換的H幀來產(chǎn) 生比特流。圖2中深色的幀表示它們已經(jīng)經(jīng)過空間變換。解碼器通過輸入以最高級(jí)到最低級(jí)的順序通過逆空間變換從接收的比特流(圖3 中顯示的20或25)獲得的深色的幀的操作來恢復(fù)幀。通過使用第三時(shí)間級(jí)上的L幀和H 幀來恢復(fù)第二時(shí)間級(jí)上的兩個(gè)L幀，通過使用第二時(shí)間級(jí)上的兩個(gè)L幀和兩個(gè)H幀來恢復(fù) 第一時(shí)間級(jí)上的四個(gè)L幀。最終，通過使用第一時(shí)間級(jí)上的四個(gè)L幀和四個(gè)H幀來恢復(fù)八 個(gè)幀。圖3中示出支持可伸縮性的視頻編碼系統(tǒng)，即可伸縮性視頻編碼系統(tǒng)的整個(gè)結(jié) 構(gòu)。編碼器40通過時(shí)間濾波、空間變換和量化對(duì)輸入視頻10編碼，從而產(chǎn)生比特流20。預(yù) 解碼器50基于考慮具有解碼器60的通信環(huán)境或解碼器60方的裝置性能的如畫面質(zhì)量、分 辨率或幀率的提取條件來提取從編碼器40接收的比特流20的紋理數(shù)據(jù)(texture data)。解碼器60對(duì)編碼器40進(jìn)行的操作進(jìn)行逆操作，并從提取的比特流25恢復(fù)輸出視 頻30。基于上述的提取條件的比特流的提取不限于預(yù)解碼器50 ；其可由解碼器60來處理， 或者由預(yù)解碼器50和解碼器60兩者來處理。上述的可伸縮性視頻編碼技術(shù)基于MPEG-21可伸縮性視頻編碼。此編碼技術(shù)采用 如支持時(shí)間可伸縮性的MCTF和UMCTF的時(shí)間濾波，以及使用支持空間可伸縮性的小波變換 的空間變換?？缮炜s性視頻編碼的優(yōu)點(diǎn)在于質(zhì)量、分辨率和幀率都可在預(yù)解碼器50方被傳 輸，并且壓縮率極好。然而，在比特率不足的情況下，與如MPEG-4、H. 264等的傳統(tǒng)編碼方法 相比，性能可能降低。對(duì)于此存在混雜的原因。在低分辨率下，與離散余弦變換(DCT)相比，小波變換的 性能降低。由于支持多比特率的可伸縮性視頻編碼的固有特征，在一比特率下發(fā)生最佳性 能，由于這個(gè)原因，在其他比特率下性能降低。

發(fā)明內(nèi)容
本發(fā)明提供一種在較低率和較高率下都表現(xiàn)平穩(wěn)性能的可伸縮性視頻編碼方法。本發(fā)明還提供一種基于在將被支持的比特率之中在低率、最低比特率下顯示好的性能的編碼方法執(zhí)行壓縮，并且使用其他比特率下的結(jié)果執(zhí)行基于小波的可伸縮性視頻編 碼的方法。本發(fā)明還提供一種在基于小波的可伸縮性視頻編碼時(shí)使用在最低比特率下編碼 的結(jié)果來執(zhí)行運(yùn)動(dòng)估計(jì)的方法。根據(jù)本發(fā)明的一方面，提供一種在基于多層的視頻編碼方法中通過使用基礎(chǔ)層來 有效的壓縮在更高層上的幀的方法，包括(a)從輸入原始視頻序列產(chǎn)生基礎(chǔ)層幀，該基礎(chǔ) 層具有與第一更高層幀相同的時(shí)間位置；(b)對(duì)基礎(chǔ)層上采樣以具有更高層幀的分辨率； 和(c)通過參考具有與第一更高層幀不同時(shí)間位置的第二更高層幀以及上采樣的基礎(chǔ)層 幀以塊為基礎(chǔ)來去除第一更高層幀的冗余。根據(jù)本發(fā)明的另一方面，提供一種視頻編碼方法，包括(a)從輸入原始視頻序列 產(chǎn)生基礎(chǔ)層；(b)上采樣該基礎(chǔ)層以具有當(dāng)前幀的分辨率；(c)通過選擇時(shí)間預(yù)測(cè)和使用上 采樣的基礎(chǔ)層的預(yù)測(cè)中的任何一個(gè)來執(zhí)行構(gòu)成當(dāng)前幀的每一塊的時(shí)間濾波；(d)空間變換 通過時(shí)間濾波產(chǎn)生的幀；和(e)量化通過空間變換產(chǎn)生的變換系數(shù)。
根據(jù)本發(fā)明的另一方面，提供一種用視頻解碼器恢復(fù)時(shí)間濾波的幀的方法，包括 (a)獲得低通幀和基礎(chǔ)層的和，其中，濾波的幀是低通幀；(b)根據(jù)從編碼器方傳輸?shù)哪Ｊ?信息以塊為基礎(chǔ)恢復(fù)高通幀，其中，濾波的幀是高通幀。和(c)通過使用時(shí)間參考幀來恢復(fù) 濾波的幀，其中，濾波的幀具有與最高時(shí)間級(jí)不同的另一時(shí)間級(jí)。根據(jù)本發(fā)明的另一方面，提供一種視頻解碼方法，包括(a)使用預(yù)定編解碼器對(duì) 輸入基礎(chǔ)層解碼；(b)上采樣解碼的基礎(chǔ)層的分辨率；(c)逆量化除基礎(chǔ)層之外的層的紋理 信息，并且輸出變換系數(shù)；(d)將變換系數(shù)逆變換為空域中的變換系數(shù)；和(e)使用上采樣 的基礎(chǔ)層從作為逆變換的結(jié)果產(chǎn)生的幀恢復(fù)原始幀。根據(jù)本發(fā)明的另一方面，提供一種視頻編碼器，包括(a)基礎(chǔ)層產(chǎn)生模塊，從輸 入原始視頻源產(chǎn)生基礎(chǔ)層；(b)空間上采樣模塊，將基礎(chǔ)層上采樣為當(dāng)前幀的分辨率；(C) 時(shí)間濾波模塊，使用時(shí)間估計(jì)和上采樣的基礎(chǔ)層的估計(jì)中的任何一個(gè)，并且對(duì)當(dāng)前幀的每 一塊時(shí)間濾波；(d)空間變換模塊，空間變換通過時(shí)間濾波產(chǎn)生的幀；和(e)量化模塊，量化 通過空間變換產(chǎn)生的變換系數(shù)。根據(jù)本發(fā)明的另一方面，提供一種視頻解碼器，包括(a)基礎(chǔ)層解碼器，使用預(yù) 定編解碼器對(duì)輸入基礎(chǔ)層解碼；(b)空間上采樣模塊，上采樣解碼的基礎(chǔ)層的分辨率；(C) 逆量化模塊，逆量化關(guān)于除基礎(chǔ)層之外的層的紋理信息，并且輸出變換系數(shù)；(d)逆空間變 換模塊，將變換系數(shù)逆變換為空域中的變換系數(shù)；和(e)逆時(shí)間濾波模塊，通過使用上采樣 的基礎(chǔ)層，從作為逆變換的結(jié)果產(chǎn)生的幀恢復(fù)原始幀。


通過結(jié)合附圖其示例性實(shí)施例進(jìn)行的詳細(xì)描述，本發(fā)明的以上和其他方面將會(huì)變 得更加清楚，其中圖1示出編碼器方的傳統(tǒng)MCTF濾波；圖2示出在解碼器方傳統(tǒng)逆MCTF濾波；圖3示出傳統(tǒng)可伸縮性視頻編碼系統(tǒng)的整個(gè)結(jié)構(gòu)；圖4示出根據(jù)本發(fā)明示例性實(shí)施例的可伸縮性視頻編碼器的結(jié)構(gòu)；
圖5示出根據(jù)本發(fā)明示例性實(shí)施例的時(shí)間濾波；圖6示出根據(jù)本發(fā)明實(shí)施例的模式；圖7示出根據(jù)成本函數(shù)由每一塊以不同模式編碼最高時(shí)間級(jí)上出現(xiàn)的高通幀的例子；圖8示出通過小波變換輸入圖像被分解為子帶的例子；圖9示出根據(jù)本發(fā)明示例性實(shí)施例的比特流示意性結(jié)構(gòu)；圖10示出其他層上的比特流的示意性結(jié)構(gòu)；圖11示出GOP字段的詳細(xì)結(jié)構(gòu)；圖12示出根據(jù)本發(fā)明示例性實(shí)施例的編碼器以帶內(nèi)模式來實(shí)現(xiàn)的例子；圖13示出根據(jù)本發(fā)明示例性實(shí)施例的可伸縮性視頻解碼器的結(jié)構(gòu)；和圖14是表示移動(dòng)序列中PSNR對(duì)比特率的曲線圖。
具體實(shí)施例方式以下將參照附圖來詳細(xì)描述本發(fā)明的示例性實(shí)施例。通過參照以下將被詳細(xì)描述 的示例性實(shí)施例的詳細(xì)描述以及附圖可更容易地理解本發(fā)明的優(yōu)點(diǎn)和特征以及實(shí)現(xiàn)其的 方法。然而，本發(fā)明可以以許多不同形式來實(shí)現(xiàn)，并且不應(yīng)被解釋為限于于此闡述的示例性 實(shí)施例。相反，提供這些示例性實(shí)施例，以使此公開將是徹底并且完整的，并且將向本領(lǐng)域 的技術(shù)人員全面地傳達(dá)本發(fā)明的概念，本發(fā)明將僅由所附權(quán)利要求限定。說明書中相同的 標(biāo)號(hào)始終表示相同的部件。在本發(fā)明的示例性實(shí)施例中，根據(jù)在低比特率下具有高性能的編碼方法，如 MPEG-4或H. 264來執(zhí)行基礎(chǔ)層的壓縮。通過應(yīng)用基于小波的可伸縮性視頻編碼以支持高于 基礎(chǔ)層的比特率下的可伸縮性，基于小波的可伸縮性視頻編碼的優(yōu)點(diǎn)被保留，并且低比特 率下的性能被改善。這里，術(shù)語(yǔ)“基礎(chǔ)層”是指低于由可伸縮性視頻編碼器產(chǎn)生的比特流的最高幀率的 幀率或者具有低于比特流的最高分辨率的分辨率的視頻序列?；A(chǔ)層可具有除最高幀率和 分辨率之外的任何幀率以及分辨率。盡管基礎(chǔ)層不是必須具有低幀率和分辨率的比特流， 但是根據(jù)本發(fā)明實(shí)施例的基礎(chǔ)層將通過具有最低幀率和分辨率的例子來描述。在此說明書中，最低幀率和分辨率，或最高分辨率(將被稍后描述)都基于比特流 確定，這與由可伸縮性視頻編碼器固有支持的最低幀率和分辨率或最高分辨率不同。在圖 4中示出根據(jù)本發(fā)明示例性實(shí)施例的視頻可伸縮性編碼器100。可伸縮性視頻編碼器100 可包括基礎(chǔ)層產(chǎn)生模塊110、時(shí)間濾波模塊120、運(yùn)動(dòng)估計(jì)模塊130、模式選擇模塊140、空間 變換模塊150、量化模塊160、比特流產(chǎn)生模塊170和空間上采樣模塊180?；A(chǔ)層產(chǎn)生模 塊110可包括時(shí)間下采樣模塊111、空間下采樣模塊112、基礎(chǔ)層編碼器113和基礎(chǔ)層解碼 器114。時(shí)間下采樣模塊111和空間下采樣模塊112可被并入單一下采樣模塊115。輸入視頻序列被輸入到基礎(chǔ)層產(chǎn)生模塊110和時(shí)間濾波模塊120?；A(chǔ)層產(chǎn)生模 塊110將輸入視頻序列，即具有最高分辨率和幀率的原始視頻序列變換為具有由時(shí)間濾波 支持的最低幀率以及由時(shí)間變換支持的最低分辨率的視頻序列。然后，該視頻序列被在低比特率下產(chǎn)生極好質(zhì)量的編解碼器壓縮，隨后被恢復(fù)。該 恢復(fù)的圖像被定義為“基礎(chǔ)層”。通過上采樣此基礎(chǔ)層，具有最高分辨率的幀被再次產(chǎn)生并被提供到時(shí)間濾波模塊120，從而其可被用作B內(nèi)估計(jì)(B-intra estimation)中的參考幀?，F(xiàn)在將更加詳細(xì)地描述組成基礎(chǔ)層產(chǎn)生模塊110的特定模塊的操作。
時(shí)間下采樣模塊111將具有最高幀率的原始視頻序列下采樣為具有由編碼器100 支持的最低幀率的視頻序列。此時(shí)間下采樣可通過傳統(tǒng)方法，例如簡(jiǎn)單跳幀，或跳幀且同時(shí) 部分地反射剩余幀上的跳過的幀的信息來執(zhí)行。或者，支持時(shí)間分解的可伸縮性濾波方法， 如MCTF可被使用?？臻g下采樣模塊112將具有最高分辨率的原始視頻序列下采樣為具有最低分辨 率的視頻序列。此空間下采樣也可通過傳統(tǒng)方法來執(zhí)行。這是將多個(gè)像素簡(jiǎn)化為單一像 素，從而對(duì)該多個(gè)像素進(jìn)行預(yù)定操作以產(chǎn)生單一像素的處理?？砂ㄈ缙骄⒅兄岛虳CT下 采樣的各種操作?？赏ㄟ^小波變換來提取具有最低分辨率的幀。在本發(fā)明的示例性實(shí)施例 中，優(yōu)選地視頻序列通過小波變換被下采樣。本發(fā)明的示例性實(shí)施例需要時(shí)域的下采樣和 上采樣兩者。與其他方法相比，小波變換在下采樣和上采樣中相對(duì)均衡，從而產(chǎn)生更好的質(zhì) 量?；A(chǔ)層編碼器113通過使用在低比特率下產(chǎn)生極好質(zhì)量的編解碼器來對(duì)具有最 低時(shí)間和空間分辨率的視頻序列編碼。這里，術(shù)語(yǔ)“極好質(zhì)量”是指當(dāng)視頻序列以相同比特 率被壓縮隨后被恢復(fù)時(shí)其比原始有很少失真，峰值信噪比(PSNR)被主要用于確定質(zhì)量的 標(biāo)準(zhǔn)。非小波家族，如H. 264或MPEG-4的編解碼器的使用可能是優(yōu)選的。由基礎(chǔ)層編碼 器113編碼的基礎(chǔ)層被提供到比特流產(chǎn)生模塊170?；A(chǔ)層解碼器114通過使用與基礎(chǔ)層編碼器113相應(yīng)的編解碼器來對(duì)編碼的基礎(chǔ) 層解碼并且恢復(fù)該基礎(chǔ)層。在編碼處理之后再次執(zhí)行解碼處理的原因在于通過使解碼處 理與從參考幀恢復(fù)原始視頻的處理一致來恢復(fù)更準(zhǔn)確的圖像。然而，基礎(chǔ)層解碼器114不 是必需的。由基礎(chǔ)層編碼器113產(chǎn)生的基礎(chǔ)層可按原樣被提供到空間上采樣模塊180?？臻g上采樣模塊180對(duì)具有最低幀率的幀上采樣，從而產(chǎn)生最高分辨率。然而，由 于小波分解被空間下采樣模塊112使用，所以優(yōu)選地使用基于小波的上采樣濾波器。時(shí)間濾波模塊120將幀分解為沿時(shí)間軸的低通幀和高通幀以降低時(shí)間冗余。在 本發(fā)明的示例性實(shí)施例中，時(shí)間濾波模塊120不僅執(zhí)行時(shí)間濾波而且執(zhí)行通過B內(nèi)模式 (B-intra mode)的差分濾波。因此，“時(shí)間濾波”包括時(shí)間濾波和通過B內(nèi)模式的濾波。低通幀是指不參照任何其他幀編碼的幀，高通幀是指由預(yù)測(cè)幀(通過預(yù)測(cè)估計(jì)) 和參考幀之間的差產(chǎn)生的幀。各種方法可涉及確定參考幀。圖片組(GOP)內(nèi)部或外部的幀 可被用作參考幀。然而，由于隨著參考幀增加運(yùn)動(dòng)向量的比特?cái)?shù)可增加，所以彼此相鄰的兩 個(gè)幀都可被用作參考幀，或者只有它們中的一個(gè)可被用作參考幀。在這方面，將在假設(shè)最多 兩個(gè)相鄰幀可被參考的情況下來描述本發(fā)明的示例性實(shí)施例，但本發(fā)明不受其限制。運(yùn)動(dòng)估計(jì)模塊130執(zhí)行基于參考幀的運(yùn)動(dòng)估計(jì)，時(shí)間濾波模塊120可控制運(yùn)動(dòng)估 計(jì)模塊130以執(zhí)行運(yùn)動(dòng)估計(jì)并且每當(dāng)需要時(shí)將結(jié)果返回給時(shí)間濾波模塊120。MCTF和UMCTF可被用于執(zhí)行時(shí)間濾波。圖5示出使用MCTF (5/3濾波器)的本發(fā) 明示例性實(shí)施例的操作。GOP由八個(gè)幀組成，該八個(gè)幀可在GOP邊界外被參照。首先，八個(gè) 幀被分解為第一時(shí)間級(jí)的四個(gè)低通幀(L)和四個(gè)高通幀(H)。高通幀可通過參照左幀和右 幀兩者，或左幀和右?guī)械娜魏我粋€(gè)來產(chǎn)生。其后，低通幀可使用左和右高通幀來再次更新其本身。此更新不使用低通幀作為原始幀，而是通過使用高通幀來更新該低通幀，從而用來 分散集中在高通幀中的錯(cuò)誤。然而，此更新不是必需的。以下，將省略更新，并且將描述原 始幀變?yōu)榈屯◣睦?。接下來，第一時(shí)間級(jí)上的四個(gè)低通幀被再次分解為第二時(shí)間級(jí)上的兩個(gè)低通幀和 兩個(gè)高通幀。最后，第二時(shí)間級(jí)上的兩個(gè)低通幀被分解為第三時(shí)間級(jí)上的一個(gè)低通幀和一 個(gè)高通幀。其后，更高時(shí)間級(jí)上的一個(gè)低通幀和其他七個(gè)高通幀被編碼并且隨后被傳輸。最高時(shí)間級(jí)上的幀，即具有最低幀率的幀使用與傳統(tǒng)時(shí)間濾波方法不同的方法被 濾波。因此，低通幀70和高通幀80通過由本發(fā)明提出的方法在當(dāng)前GOP內(nèi)在第三時(shí)間級(jí) 上被濾波。通過基礎(chǔ)層產(chǎn)生模塊110具有最高分辨率的上采樣后的基礎(chǔ)層已經(jīng)處于最低幀 率。其被供應(yīng)與低通幀70和高通幀80的各自數(shù)目一樣多。在時(shí)間方向上低通幀70不具有參考幀，因此，其通過獲得低通幀70和上采樣的基 礎(chǔ)層Bl之間的差在B內(nèi)模式下被編碼。由于在時(shí)間方向上高通幀80可參考左和右低通幀 兩者，所以以塊為基礎(chǔ)根據(jù)預(yù)定模式選擇由模式選擇模塊140來確定是時(shí)間相關(guān)幀還是基 礎(chǔ)層將被用作參考幀。然后，其根據(jù)由時(shí)間濾波模塊120以塊為基礎(chǔ)確定的方法被編碼。將 參照?qǐng)D6來描述模式選擇模塊140的模式選擇。在此說明書中，“塊”可以是指宏塊或從宏 塊劃分的子塊。在先前例子中，最高時(shí)間級(jí)為3，并且GOP具有八個(gè)幀。然而，本發(fā)明的示例性實(shí)施 例可具有任何數(shù)量的時(shí)間級(jí)以及任何GOP大小。例如，當(dāng)GOP具有八個(gè)幀并且最高時(shí)間級(jí) 為2時(shí)，在第二時(shí)間級(jí)出現(xiàn)的四個(gè)幀中，兩個(gè)L幀執(zhí)行差分編碼，兩個(gè)H幀根據(jù)模式選擇執(zhí) 行編碼。另外，已經(jīng)描述僅參照左和右相鄰幀中的一個(gè)(如圖5所示)來確定時(shí)間方向上 的參考幀。然而，對(duì)于本領(lǐng)域的技術(shù)人員是明顯的，本發(fā)明的示例性實(shí)施例可被應(yīng)用到不相 鄰的左和右?guī)杀粎⒄斩鄠€(gè)的情況。模式選擇模塊140在最高時(shí)間級(jí)模式選擇下通過使用關(guān)于高通幀的預(yù)定成本函 數(shù)以塊為基礎(chǔ)在時(shí)間相關(guān)幀和基礎(chǔ)層之間選擇參考幀。圖4示出作為單獨(dú)部件的模式選擇 模塊140和時(shí)間濾波模塊120，但是模式選擇模塊140可被并入時(shí)間濾波模塊120。率-失真(R-D)優(yōu)化可被用于模式選擇中。將參照?qǐng)D6對(duì)此方法進(jìn)行更具體地描 述。圖6示出四種示例性模式。在前向估計(jì)(forward estimation)模式(1)下，搜索 最匹配先前幀(不是指緊接的先前幀)的部分的當(dāng)前幀中的特定塊，并且獲得用于在兩個(gè) 位置之間位移的運(yùn)動(dòng)向量，從而獲得時(shí)間殘差(residual)。在后向估計(jì)模式(2)中，搜索最匹配下一幀(不是指緊接在后面的幀)的部分的 當(dāng)前幀中的特定塊，并且獲得用于在兩個(gè)位置之間位移的運(yùn)動(dòng)向量，從而獲得時(shí)間殘差。在雙向估計(jì)模式(3)中，平均在前向估計(jì)模式(1)和后向估計(jì)模式(2)中搜索的 兩個(gè)塊，或者用權(quán)來平均以創(chuàng)建虛擬塊，計(jì)算虛擬塊和當(dāng)前幀中的特定塊之間的差，從而執(zhí) 行時(shí)間濾波。因此，雙向估計(jì)模式需要每一塊的兩個(gè)運(yùn)動(dòng)向量。這些前向、后向和雙向估計(jì) 都在時(shí)間估計(jì)的種類中。模式選擇模塊140使用模式估計(jì)模塊130以獲得運(yùn)動(dòng)向量。在B內(nèi)模式(4)中，由空間上采樣模塊180上采樣的基礎(chǔ)層被用作參考幀，來自當(dāng)前幀的差被計(jì)算。在這種情況下，基礎(chǔ)層是與當(dāng)前幀在時(shí)間上相同的幀，因此，不需要運(yùn)動(dòng)估計(jì)。在本發(fā)明中，術(shù)語(yǔ)“差”被使用在B內(nèi)模式中以與在時(shí)間方向上幀之間的術(shù)語(yǔ)“殘差” 區(qū)分。在圖6中，在選擇后向估計(jì)模式中引起的誤差(平均絕對(duì)差或MAD)被稱為“Eb”， 在選擇前向估計(jì)模式中引起的誤差被稱為“Ef”，在選擇雙向估計(jì)模式中引起的誤差被稱為 “Ebi”，在使用基礎(chǔ)層作為參考層中引起的誤差被稱為Ei，每個(gè)消耗的附加比特被分別稱為 Bb、Bf、Bbi和Bi。與此結(jié)合，以下每個(gè)成本函數(shù)被定義，其中，Bb、Bf、Bbi和Bi是指在壓 縮包括每一方向上的運(yùn)動(dòng)向量和運(yùn)動(dòng)幀的運(yùn)動(dòng)信息中消耗的比特。然而，由于B內(nèi)模式不 使用運(yùn)動(dòng)向量，則Bi非常小并且可被刪除。后向成本Cb= Eb+λ XBb前向成本Cf= Ef+λ XBf雙向成本Cbi= Ebi+λ XBbi = Ebi+λ X (Bb+Bf)B 內(nèi)成本Ci = α (Ei+λ XBi) N α XEi,其中，λ是拉格朗日系數(shù)，根據(jù)壓縮率確定的常數(shù)。模式選擇模塊140使用這些 函數(shù)來選擇具有最低成本的模式，從而使得在最高時(shí)間級(jí)上用于高通幀的最合適的模式被 選擇。不像其他的成本，另一常數(shù)α被加到B內(nèi)成本中。α是表示B內(nèi)模式的權(quán)的常 數(shù)。如果α為1，則B內(nèi)模式通過與其它成本函數(shù)比較被同等地選擇。隨著α增大，B內(nèi) 模式被選擇的頻率減少，而隨著α減小，B內(nèi)模式被選擇的頻率增加。作為極端的例子，如 果α為0，則僅B內(nèi)模式被選擇；如果α太高，則不選擇B內(nèi)模式。用戶可通過控制α值 來控制B內(nèi)模式選擇的頻率。圖7示出在最高時(shí)間級(jí)上出現(xiàn)的高通幀根據(jù)成本函數(shù)以塊為基礎(chǔ)在不同模式下 被編碼的例子。這里，一幀由16塊組成，“MB”代表每一塊。F、B、Bi* Bintra表示分別在前 向估計(jì)模式、后向估計(jì)模式、雙向估計(jì)模式和B內(nèi)估計(jì)模式中進(jìn)行濾波。在圖7中，由于Cf是Cb、Cf、Cbi和Ci中的最小值，所以塊MBtl在前向估計(jì)模式下 被濾波，由于Ci是最小值，所以塊MB15在B內(nèi)模式下被濾波。最后，模式選擇模塊140將關(guān) 于通過以上處理選擇的模式的信息提供給比特流產(chǎn)生模塊170。參照?qǐng)D4，運(yùn)動(dòng)估計(jì)模塊130被時(shí)間濾波模塊120或模式選擇模塊140調(diào)用，并且 執(zhí)行基于由時(shí)間濾波模塊120確定的參考幀的當(dāng)前幀的運(yùn)動(dòng)估計(jì)，從而獲得運(yùn)動(dòng)向量。艮口， 當(dāng)在參考幀的特定搜索區(qū)內(nèi)以像素(或亞像素)精度移動(dòng)給定塊時(shí)誤差達(dá)到最低值的位移 被估計(jì)作為運(yùn)動(dòng)向量。對(duì)于運(yùn)動(dòng)估計(jì)，固定塊可如圖7中被使用，但是如等級(jí)可伸縮大小塊 匹配(HVSBM)的等級(jí)方法也可被使用。運(yùn)動(dòng)估計(jì)模塊130將作為運(yùn)動(dòng)估計(jì)的結(jié)果的運(yùn)動(dòng)向 量以及包括參考幀標(biāo)號(hào)的運(yùn)動(dòng)信息提供給比特流產(chǎn)生模塊170?？臻g變換模塊150通過使用如小波變換的支持空間可伸縮性的空間變換從已經(jīng) 由時(shí)間濾波模塊120去除其時(shí)間冗余的幀中去除空間冗余。作為空間變換的結(jié)果獲得的系 數(shù)被稱為變換系數(shù)。為了詳細(xì)描述使用小波變換的例子，空間變換模塊150通過小波變換將其時(shí)間冗 余已經(jīng)被去除的幀分解為低通子帶和高通子帶，并且獲得其每個(gè)的小波系數(shù)。圖8示出通過被分為兩個(gè)級(jí)的小波變換將輸入視頻或幀分解為子帶的例子。存在 三個(gè)高通子帶水平、垂直和對(duì)角?！癓H”是指水平高通子帶，“HL”是指垂直高通子帶，“HH”是指水平和垂直高通子帶。另外，“LL”是指水平和垂直低通子帶。低通子帶可被重復(fù)分解。 括號(hào)中的標(biāo)號(hào)表示小波變換的級(jí)。量化模塊160量化由空間變換模塊150獲得的變換系數(shù)。術(shù)語(yǔ)“量化”表示分離 變換系數(shù)并從分離的變換系數(shù)中取整數(shù)部分，并將該整數(shù)部分與預(yù)定索引匹配。當(dāng)小波變 換被用作空間變換方法時(shí)，嵌入式量化包括嵌入式零樹小波(EZW)算法、多級(jí)數(shù)集合分裂 (SPIHT)算法和嵌入式零塊編碼(EZBC)算法。比特流產(chǎn)生模塊170對(duì)由基礎(chǔ)層編碼器113編碼的基礎(chǔ)層數(shù)據(jù)、由量化模塊160 量化的變換系數(shù)、由模式選擇模塊140供應(yīng)的模式信息以及由運(yùn)動(dòng)估計(jì)模塊130供應(yīng)的運(yùn) 動(dòng)信息進(jìn)行無損編碼，并且產(chǎn)生比特流。此無損編碼包括算數(shù)編碼和如可變長(zhǎng)度編碼的各 種熵編碼方法。圖9示出根據(jù)本發(fā)明示例性實(shí)施例的比特流300的示意性結(jié)構(gòu)。比特流300可包 括對(duì)編碼的基礎(chǔ)層無損編碼的基礎(chǔ)層比特流400，以及支持空間可伸縮性并對(duì)從量化模塊 160傳輸?shù)淖儞Q系數(shù)無損編碼的比特流，即其他層比特流500。
如圖10所示，其他層比特流500包括序列頭字段510和數(shù)據(jù)字段520 ；數(shù)據(jù)字段 520包括一個(gè)或多個(gè)GOP字段530、540和550，序列頭字段510記錄如幀的寬度(兩個(gè)字 節(jié))和長(zhǎng)度(兩個(gè)字節(jié))、GOP的大小(一個(gè)字節(jié))以及幀率(一個(gè)字節(jié))的視頻的特征。 數(shù)據(jù)字段520記錄視頻數(shù)據(jù)和恢復(fù)視頻所需的其他信息(如運(yùn)動(dòng)信息和模式信息)。圖11示出各個(gè)GOP字段530、540和550的詳細(xì)結(jié)構(gòu)。GOP字段530、540和550每 個(gè)包括G0P頭551 ；Tto)字段552，在其中記錄根據(jù)B內(nèi)模式記錄的幀；MV字段553，在其中 記錄運(yùn)動(dòng)和模式信息；和“其他T”字段544，記錄通過參考另一幀記錄的幀的信息。運(yùn)動(dòng)信 息包括塊的大小、每一塊的運(yùn)動(dòng)向量、以及被參考以獲得運(yùn)動(dòng)向量的參考幀的標(biāo)號(hào)。模式信 息以索引的形式被記錄，表示出現(xiàn)在最高時(shí)間級(jí)上的高通幀在前向、后向、雙向估計(jì)以及B 內(nèi)模式中的哪個(gè)模式下被編碼。在此示例性實(shí)施例中，已經(jīng)描述了模式信息與運(yùn)動(dòng)向量一 起被記錄在MV字段553中，但是本發(fā)明不受限于其；其可被記錄在單獨(dú)的模式信息字段中。 MV字段553按每幀被再分為MV(1)至·^)字段。其他T字段554被再分為Τω至！1^)，在 其中記錄每一幀的圖像。這里，‘η’是指GOP的大小。已經(jīng)描述了在已經(jīng)在編碼器110中進(jìn)行時(shí)間濾波之后進(jìn)行空間濾波，但是在空間 變換之后進(jìn)行時(shí)間濾波的方法，即帶內(nèi)機(jī)制也可被使用。圖12示出使用帶內(nèi)機(jī)制的根據(jù)本 發(fā)明示例性實(shí)施例的編碼器190的例子。由于在帶內(nèi)編碼器190中僅進(jìn)行時(shí)間濾波和空間 濾波的順序被改變，所以本領(lǐng)域的技術(shù)人員操作本發(fā)明沒有困難。為了從通過帶內(nèi)機(jī)制編 碼的比特流中恢復(fù)原始圖像，在帶內(nèi)機(jī)制中，解碼器也必須在進(jìn)行逆時(shí)間濾波之后進(jìn)行逆 空間變換。圖13示出根據(jù)本發(fā)明示例性實(shí)施例的可伸縮性視頻解碼器200的結(jié)構(gòu)。可伸縮 性視頻解碼器200包括比特流解釋模塊210、逆量化模塊220、逆空間變換模塊230、逆時(shí)間 濾波模塊240、空間上采樣模塊250和基礎(chǔ)層解碼器260。比特流解釋模塊210解釋輸入比特流(如比特流300)，劃分并提取關(guān)于基礎(chǔ)層和 其他層的信息，即與熵編碼相逆。基礎(chǔ)層信息被提供到逆量化解碼器260。其他層信息中， 紋理信息被提供到逆量化模塊220，運(yùn)動(dòng)和模式信息被提供到逆時(shí)間濾波模塊240?；A(chǔ)層解碼器260使用與用于編碼的編解碼器相應(yīng)的預(yù)定編解碼器來對(duì)關(guān)于從比特流解釋模塊210提供的基礎(chǔ)層的信息解碼。即，基礎(chǔ)層解碼器260使用與圖4的可伸縮性視頻編碼器100的基礎(chǔ)層解碼器114相同的模塊?？臻g上采樣模塊250將由基礎(chǔ)層解碼器260解碼的基礎(chǔ)層的幀上采樣為最高分辨 率。空間上采樣模塊250與圖4的編碼器100的空間下采樣模塊112相應(yīng)，其對(duì)最低分辨 率的幀上采樣以具有最高分辨率。如果小波分解被用于空間下采樣模塊112中，則優(yōu)選地 使用基于小波的上采樣濾波器。順便說，逆量化模塊220逆量化由比特流解釋模塊210提供的紋理信息，并輸出變 換系數(shù)。逆量化是指搜索與在預(yù)定索引中代表的值匹配的量化系數(shù)并隨后傳輸其的處理。 表映射索引和量化系數(shù)可從編碼器100被傳輸，或者其可被編碼器和解碼器被提前約定。逆空間變換模塊230進(jìn)行逆空間變換以將變換系數(shù)逆變換為空域中的變換系數(shù)。 例如，當(dāng)以小波模式進(jìn)行空間變換時(shí)，小波域中的變換系數(shù)被逆變換為空域中的變換系數(shù)。逆時(shí)間濾波模塊240逆時(shí)間濾波空域中的變換系數(shù)，即差圖像，并恢復(fù)組成視頻 序列的幀。對(duì)于逆時(shí)間濾波，逆時(shí)間濾波模塊240使用由比特流解釋模塊210提供的運(yùn)動(dòng) 向量和運(yùn)動(dòng)信息，以及由空間上采樣模塊250提供的上采樣的基礎(chǔ)層。解碼器200中的逆時(shí)間濾波與圖4的編碼器100中的時(shí)間濾波相逆。即，逆時(shí)間 濾波序列與圖5的例子中的序列相逆。因此，應(yīng)對(duì)最高時(shí)間級(jí)上的低通幀和高通幀進(jìn)行逆 濾波。例如，如在圖5的情況下，低通幀70在B內(nèi)模式下被編碼，因此，逆時(shí)間濾波模塊240 通過組合低通幀70和由空間上采樣模塊250提供的上采樣基礎(chǔ)層來恢復(fù)原始圖像。另外， 逆時(shí)間濾波模塊240以塊為基礎(chǔ)根據(jù)由模式信息指出的模式來對(duì)高通幀80逆濾波。如果 塊的模式信息表示B內(nèi)模式，則逆時(shí)間濾波模塊240將塊和與該塊相應(yīng)的基礎(chǔ)層幀的區(qū)相 力口，從而恢復(fù)原始幀的相關(guān)區(qū)。如果塊的模式信息表示除B內(nèi)模式以外的任何其他模式，則 逆時(shí)間濾波模塊240可根據(jù)估計(jì)方向通過使用運(yùn)動(dòng)信息(參考幀的數(shù)量和運(yùn)動(dòng)向量)來恢 復(fù)原始幀的相關(guān)區(qū)。由逆時(shí)間濾波模塊240來恢復(fù)與每一塊相應(yīng)的整個(gè)區(qū)，從而形成恢復(fù)幀，視頻序 列是通過組合這些幀形成的整體。已經(jīng)描述了向解碼器方傳輸?shù)谋忍亓靼P(guān)于基礎(chǔ)層和 其他層一起的信息。然而，當(dāng)來自已經(jīng)接收從編碼器100傳輸?shù)谋忍亓鞯念A(yù)解碼器方的僅 截去的基礎(chǔ)層被傳輸?shù)浇獯a器200時(shí)，關(guān)于基礎(chǔ)層的信息僅出現(xiàn)在輸入到解碼器方的比特 流中。因此，在已經(jīng)通過比特流解釋模塊210和基礎(chǔ)層編碼器260之后恢復(fù)的基礎(chǔ)層幀將 作為視頻序列輸出。在這里使用的術(shù)語(yǔ)“模塊”是指但不限于軟件或硬件部分，如現(xiàn)場(chǎng)可編程門陣列 (FPGA)或執(zhí)行特定任務(wù)的專用集成電路(ASIC)。模塊可有利地被配置以駐留于可尋址存 儲(chǔ)介質(zhì)中并且配置以在一個(gè)或多個(gè)處理器上執(zhí)行。因此，舉例來說，模塊可包括組件，如軟 件組件、面向?qū)ο蟮能浖M件、類組件和任務(wù)組件、進(jìn)程、函數(shù)、屬性、過程、子程序、程序代 碼段、驅(qū)動(dòng)程序、固件、微代碼、電路、數(shù)據(jù)、數(shù)據(jù)庫(kù)、數(shù)據(jù)結(jié)構(gòu)、表、陣列和變量。在組件和模 塊中提供的功能性可被組合到更少的組件和模塊中，或還可被分離到附加的部件和模塊 中。另外，部件和模塊可被實(shí)現(xiàn)以在通信系統(tǒng)內(nèi)執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)。根據(jù)本發(fā)明的示例性實(shí)施例，與使用在編碼基礎(chǔ)層中的編解碼器的功能相同的功 能可在最低比特率和最低幀率下獲得。由于在更高分辨率和幀率下的差圖像通過可伸縮性 編碼方法被有效編碼，所以在更低比特率下實(shí)現(xiàn)比傳統(tǒng)方法更高的質(zhì)量，在更高比特率下實(shí)現(xiàn)與傳統(tǒng)可伸縮性視頻編碼方法相似的性能。在本發(fā)明的示例性實(shí)施例中不在時(shí)間差和來自基礎(chǔ)層的差之間選擇任何有利的 一個(gè)，而是簡(jiǎn)單的使用來自基礎(chǔ)層編碼的差，在低比特率下可獲得極好的質(zhì)量，但是在更高 分辨率下與傳統(tǒng)可伸縮性視頻編碼相比將遭受極大地降低的性能。這意味著很難只通過上 采樣具有最低分辨率的基礎(chǔ)層來估計(jì)最高分辨率下的原始圖像。如在本發(fā)明中提到的，最優(yōu)地確定從最高分辨率下的時(shí)間上相鄰幀估計(jì)還是從基 礎(chǔ)層估計(jì)的方法根據(jù)其是否提供極好的質(zhì)量，而不管比特率。圖14是在“移動(dòng)序列”下將PSNR與比特率比較的曲線圖。使用根據(jù)本發(fā)明示例 性實(shí)施例的方法的結(jié)果展示其與傳統(tǒng)的在高比特率下的可伸縮性視頻編碼相似，但是其在 低比特率下更好。具體地講，與當(dāng)α =0(僅差分編碼)相比，當(dāng)α =1(模式被選擇)， 在高比特率下實(shí)現(xiàn)稍高的性能，當(dāng)時(shí)在低比特率下實(shí)現(xiàn)稍低的性能。然而，在最低比特率 (48kbps)下兩者都顯示相同的性能。根據(jù)本發(fā)明的示例性的實(shí)施例，在可伸縮性視頻編碼中在低比特率和高比特率下 都能獲得高性能。
根據(jù)本發(fā)明的示例性實(shí)施例，在可伸縮性視頻編碼中可實(shí)現(xiàn)更準(zhǔn)確運(yùn)動(dòng)估計(jì)。本領(lǐng)域的普通技術(shù)人員應(yīng)該理解，在不脫離由所附權(quán)利要求限定的本發(fā)明的精神 和范圍的情況下，在對(duì)其進(jìn)行形式和細(xì)節(jié)上的各種替換、修改和改變。因此，應(yīng)理解上述的 示例性實(shí)施例僅為示例性目的，不被解釋為對(duì)本發(fā)明的限制。
權(quán)利要求
一種視頻編碼方法，包括從輸入原始視頻序列產(chǎn)生基礎(chǔ)層；上采樣該基礎(chǔ)層以具有當(dāng)前幀的分辨率；通過選擇時(shí)間預(yù)測(cè)和使用上采樣的基礎(chǔ)層中的一個(gè)來執(zhí)行構(gòu)成當(dāng)前幀的每一塊的時(shí)間濾波；空間變換通過時(shí)間濾波產(chǎn)生的幀；和量化通過空間變換產(chǎn)生的變換系數(shù)。
2.如權(quán)利要求1所述的方法，其中，產(chǎn)生基礎(chǔ)層包括對(duì)于輸入原始視頻序列執(zhí)行時(shí)間 下采樣和空間下采樣；和使用預(yù)定編解碼器在對(duì)結(jié)果編碼之后對(duì)下采樣的結(jié)果解碼。
3.如權(quán)利要求1所述的方法，其中，執(zhí)行時(shí)間濾波包括計(jì)算并編碼與下采樣的基礎(chǔ)層的差，其中，幀之中的更高幀是低通幀；和 使用時(shí)間預(yù)測(cè)和基礎(chǔ)層預(yù)測(cè)中的一個(gè)以塊為基礎(chǔ)對(duì)更高幀編碼，從而預(yù)定成本函數(shù)被 最小化，其中，更高幀是高通幀。
4.一種用視頻解碼器恢復(fù)時(shí)間濾波的幀的方法，包括 獲得低通幀和基礎(chǔ)層的和，其中，濾波的幀是低通幀；和根據(jù)從編碼器傳輸?shù)哪Ｊ叫畔⒁詨K為基礎(chǔ)恢復(fù)高通幀，其中，濾波的幀是高通幀。
5.如權(quán)利要求4所述的方法，還包括通過使用時(shí)間參考幀來恢復(fù)濾波的幀，其中，濾波 的幀具有與最高時(shí)間級(jí)不同的另一時(shí)間級(jí)。
6.如權(quán)利要求4所述的方法，其中，模式信息包括前向估計(jì)、后向估計(jì)、雙向估計(jì)和B內(nèi) 模式中的至少一個(gè)。
7.如權(quán)利要求6所述的方法，其中，恢復(fù)高通幀包括獲得塊和基礎(chǔ)層的相關(guān)區(qū)的和， 其中，高通幀的模式信息是B內(nèi)模式；和根據(jù)相關(guān)估計(jì)模式的運(yùn)動(dòng)信息來恢復(fù)原始幀，其中，關(guān)于高通幀的塊的模式信息是時(shí) 間估計(jì)模式之一。
8.一種視頻解碼方法，包括使用預(yù)定編解碼器對(duì)輸入基礎(chǔ)層解碼； 上采樣解碼的基礎(chǔ)層的分辨率；逆量化除基礎(chǔ)層之外的層的紋理信息，并且輸出變換系數(shù)； 將變換系數(shù)逆變換為空域中的變換系數(shù)；和 使用上采樣的基礎(chǔ)層從作為逆變換的結(jié)果產(chǎn)生的幀恢復(fù)原始幀。
9.如權(quán)利要求8所述的方法，其中，恢復(fù)原始幀包括獲得塊和基礎(chǔ)層的相關(guān)區(qū)的和，其中，作為逆變換的結(jié)果產(chǎn)生的幀是低通幀；和 根據(jù)從編碼器方傳輸?shù)哪Ｊ叫畔⒁詨K為基礎(chǔ)恢復(fù)高通幀，其中，作為逆變換的結(jié)果產(chǎn) 生的幀是高通幀。
10.如權(quán)利要求9所述的方法，其中，模式信息包括前向估計(jì)、后向估計(jì)、雙向估計(jì)和B 內(nèi)模式中的至少一個(gè)。
11.如權(quán)利要求10所述的方法，其中，恢復(fù)高通幀包括獲得塊和基礎(chǔ)層的相關(guān)區(qū)的 和，其中，高通幀的模式信息是B內(nèi)模式；和根據(jù)相關(guān)估計(jì)模式的模式信息來恢復(fù)原始幀，其中，關(guān)于高通幀的塊的模式信息是時(shí) 間估計(jì)模式中的一個(gè)。
12.一種視頻編碼器，包括基礎(chǔ)層產(chǎn)生模塊，從輸入原始視頻源產(chǎn)生基礎(chǔ)層； 空間上采樣模塊，將基礎(chǔ)層上采樣為當(dāng)前幀的分辨率；時(shí)間濾波模塊，使用時(shí)間估計(jì)和上采樣的基礎(chǔ)層的估計(jì)中的一個(gè)，并且對(duì)當(dāng)前幀的每 一塊時(shí)間濾波；空間變換模塊，空間變換通過時(shí)間濾波產(chǎn)生的幀；和 量化模塊，量化通過空間變換產(chǎn)生的變換系數(shù)。
13.如權(quán)利要求12所述的視頻編碼器，其中，基礎(chǔ)層產(chǎn)生模塊包括 下采樣模塊，進(jìn)行輸入原始視頻序列的時(shí)間下采樣和空間下采樣； 基礎(chǔ)層編碼器，使用預(yù)定編解碼器對(duì)下采樣的結(jié)果編碼；和基礎(chǔ)層解碼器，使用與在編碼中使用的編解碼器相同的編解碼器來對(duì)編碼的結(jié)果解碼。
14.如權(quán)利要求12所述的視頻編碼器，其中，時(shí)間濾波模塊通過計(jì)算與上采樣基礎(chǔ)層 的差來對(duì)幀中的低通幀編碼，和通過最小化預(yù)定成本函數(shù)，并通過使用時(shí)間估計(jì)和使用基礎(chǔ)層的估計(jì)中的一個(gè)來對(duì)高 通幀的每一塊編碼。
15.一種視頻解碼器，包括基礎(chǔ)層解碼器，使用預(yù)定編解碼器對(duì)輸入基礎(chǔ)層解碼； 空間上采樣模塊，上采樣解碼的基礎(chǔ)層的分辨率；逆量化模塊，逆量化關(guān)于除基礎(chǔ)層之外的層的紋理信息，并且輸出變換系數(shù)； 逆空間變換模塊，將變換系數(shù)逆變換為空域中的變換系數(shù)；和 逆時(shí)間濾波模塊，通過使用上采樣的基礎(chǔ)層，從作為逆變換的結(jié)果產(chǎn)生的幀恢復(fù)原始幀。
16.如權(quán)利要求15所述的視頻解碼器，其中，逆時(shí)間濾波模塊獲得塊和基礎(chǔ)層的相關(guān) 區(qū)的和，其中，作為逆變換的結(jié)果產(chǎn)生的幀是低通幀；和根據(jù)從編碼器方傳輸?shù)哪Ｊ叫畔⒁詨K為基礎(chǔ)恢復(fù)高通幀，其中，作為逆變換的結(jié)果產(chǎn) 生的幀是高通幀。
17.如權(quán)利要求16所述的視頻解碼器，其中，模式信息包括前向估計(jì)、后向估計(jì)、雙向 估計(jì)和B內(nèi)模式中的至少一個(gè)。
18.如權(quán)利要求17所述的視頻解碼器，其中，逆時(shí)間濾波模塊獲得塊和基礎(chǔ)層的相關(guān) 區(qū)的和，其中，高通幀的模式信息是B內(nèi)模式；和根據(jù)相關(guān)估計(jì)模式的運(yùn)動(dòng)信息來恢復(fù)原始幀，其中，高通幀的塊的模式信息是時(shí)間估 計(jì)模式中的一個(gè)。
全文摘要
提供了一種使用基礎(chǔ)層的可伸縮性視頻編碼方法和設(shè)備，并提供了一種通過使用基礎(chǔ)層在可伸縮性視頻編解碼器中更有效地進(jìn)行時(shí)間濾波的方法。在基于多層的視頻編碼方法中通過使用基礎(chǔ)層來有效的壓縮在更高層上的幀的方法包括(a)從輸入原始視頻序列產(chǎn)生基礎(chǔ)層幀，該基礎(chǔ)層幀具有與第一更高層幀相同的時(shí)間位置；(b)對(duì)基礎(chǔ)層上采樣以具有更高層幀的分辨率；和(c)通過參考具有與第一更高層幀不同時(shí)間位置的第二更高層幀以及上采樣的基礎(chǔ)層幀以塊為基礎(chǔ)來去除第一更高層幀的冗余。
文檔編號(hào)H04N7/46GK101820541SQ20101010438
公開日2010年9月1日 申請(qǐng)日期2005年7月13日 優(yōu)先權(quán)日2004年7月15日
發(fā)明者河昊振, 韓宇鎮(zhèn) 申請(qǐng)人:三星電子株式會(huì)社