專利名稱：用于可伸縮視頻編碼的轉(zhuǎn)換濾波器上采樣機(jī)制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及視頻編碼領(lǐng)域。更特別地，本發(fā)明涉及可伸
縮-現(xiàn)頻編碼(SVC)中的空間可伸縮性。
背景技術(shù)：
本部分旨在為權(quán)利要求書中陳述的本發(fā)明提供背景或上下文。
在此的描述可以包括可以探究的概念，但不一定是那些之前已經(jīng)想 到或者探究的概念。因此，除非在此另外指出，否則本部分中描述 的內(nèi)容對(duì)于本申請(qǐng)的說(shuō)明書和權(quán)利要求書而言不是現(xiàn)有技術(shù)，并且 并不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)其為現(xiàn)有技術(shù)。
數(shù)字視頻包括以恒定速率(例如，15或30個(gè)圖像/秒)產(chǎn)生的 圖像的順序序列。因此，作為結(jié)果的原始的視頻數(shù)據(jù)量極大。因而， 對(duì)于在存儲(chǔ)或傳輸之前有效地對(duì)視頻數(shù)據(jù)進(jìn)行編碼尤其必要的是視 頻壓縮。該壓縮過(guò)程是將視頻數(shù)據(jù)轉(zhuǎn)換為可以以較少比特表示的壓 縮格式的可逆過(guò)程。
視頻編碼通常將視頻序列中固有的空間和時(shí)間冗余用于幀內(nèi)和 幀間編碼。在幀間編碼期間，編碼器嘗試通過(guò)基于當(dāng)前幀的相鄰幀 對(duì)當(dāng)前幀進(jìn)行預(yù)測(cè)來(lái)減少連續(xù) 一見頻幀之間的時(shí)間冗余。在幀內(nèi)預(yù)測(cè) 中，通過(guò)從組成幀的塊的相鄰塊預(yù)測(cè)該塊來(lái)減少空間冗余。在預(yù)測(cè) 之后，作為預(yù)測(cè)的和原始幀之間的差異的殘差幀依靠某些支持參數(shù) 來(lái)產(chǎn)生。經(jīng)常在傳輸之前對(duì)該殘差幀進(jìn)行壓縮，其中應(yīng)用諸如離散 余弦變換(DCT)之類的變換，之后是諸如Huffman編碼之類的可 變長(zhǎng)度編碼方法。
為了支持各種應(yīng)用和傳輸帶寬的更大靈活性和自適應(yīng)性，可伸 縮視頻編碼將基本(單層)視頻編碼擴(kuò)展為多層視頻編碼。本質(zhì)上，以不同空間、時(shí)間和質(zhì)量分辨率將基礎(chǔ)層與不同的增強(qiáng)層一起進(jìn)行 編碼。除了幀間和幀內(nèi)預(yù)測(cè)技術(shù)之外，可伸縮視頻編碼開發(fā)了層間 預(yù)測(cè)機(jī)制，該機(jī)制采用多個(gè)層中的冗余并且對(duì)來(lái)自于較低層的信息
進(jìn)行重用(reuse )。
出于將來(lái)自于重構(gòu)的較低空間分辨率基礎(chǔ)層的信息重用到較高 空間分辨率增強(qiáng)層中的目的，需要對(duì)基礎(chǔ)層畫面進(jìn)行上采樣。上采 樣過(guò)程包括使用有限沖擊響應(yīng)濾波器內(nèi)插像素值以生成較高分辨率 的畫面。經(jīng)內(nèi)插的畫面的質(zhì)量以及因此預(yù)測(cè)的保真度無(wú)疑由對(duì)上采 樣濾波器的選擇影響。圖1提供了該要求的示例，其中示出了簡(jiǎn)單 二元內(nèi)插(即，上采樣)。上采樣濾波器的選擇對(duì)于壓縮的增強(qiáng)層 的整體質(zhì)量起到重要作用。當(dāng)前存在兩種熟知的考慮在SVC中使用 的可替換濾波器——AVC濾波器和最優(yōu)濾波器。雖然對(duì)比于AVC 濾波器，最優(yōu)濾波器在較低比特率上執(zhí)行得相對(duì)較好，但是在高比 特率上則表現(xiàn)不佳。
JVT的MPEG的可伸縮視頻編碼計(jì)劃是當(dāng)前處于開發(fā)階-度的 H.264/AVC的可伸縮擴(kuò)展。在ISO/IEC JTC1/SC29/WG11, "Draft of Joint Scalable Video Model JSVM-4 Annex G" ， JVT文檔JVT-Q201, Poznan, 2005年7月中描述了相應(yīng)的參考編碼器，通過(guò)引用將其整體 合并于此。在當(dāng)前JSVM中，使用先進(jìn)視頻編碼(AVC)濾波器執(zhí) 行基礎(chǔ)層幀的上釆樣。另外，已經(jīng)提出了新的最優(yōu)濾波器作為對(duì)AVC 濾波器的替換。此類濾波器例如在Andrew Segall, "Adaptive Study of Up-sampling/Down- sampling for Spatial Scalability" ， JVT-Q083, Nice, France, 2005年10月(通過(guò)引用將其合并于此)中討論。這些竟?fàn)?濾波器中的每個(gè)濾波器在特定比特率上產(chǎn)生相對(duì)良好的性能，而在 其他比特率上則表現(xiàn)不佳。
在當(dāng)前的JSVM軟件中，使用具有濾波器抽頭[OO 1 0 -5 0 20 32 20 0 -5 0 1 0 0]/32的AVC濾波器對(duì)基礎(chǔ)層幀進(jìn)行上采樣。具有根據(jù) 基礎(chǔ)層QP (例如，當(dāng)QP—base=20,由[O 3 3 -8 -8 21 42 21 -8 -8 3 3 0]/32給出該抽頭)改變的濾波器抽頭的最優(yōu)濾波器之前已經(jīng)作為對(duì)AVC濾波器的替換而提出，從而進(jìn)一步增強(qiáng)了內(nèi)插畫面的質(zhì)量。然
而，由備選濾波器獲得的增強(qiáng)限于低比特率的情況。而且，在高比 特率上觀察到性能的下降。

發(fā)明內(nèi)容
本發(fā)明增強(qiáng)了可伸縮視頻編碼中使用的現(xiàn)有的基礎(chǔ)層圖像上采
波器的最佳性能。本發(fā)明的轉(zhuǎn)換過(guò)程可以 一般化為更多的濾波器選 擇并且由于增加的濾波器選擇的自由度和靈活性而潛在地減輕了計(jì)
算復(fù)雜性。在基礎(chǔ)層量化參數(shù)(QP) (QP—base)固定的情況下，本 發(fā)明可以使用基于QP的轉(zhuǎn)換、基于速率失真的轉(zhuǎn)換或基于濾波器訓(xùn) 練的轉(zhuǎn)換來(lái)實(shí)現(xiàn)。如果解碼器側(cè)的基礎(chǔ)層QP (QP_base)不被準(zhǔn)確 地知道，則該轉(zhuǎn)換過(guò)程可以基于序列級(jí)或幀級(jí)的QP閾值實(shí)現(xiàn)。
從性能的觀點(diǎn)看，本發(fā)明使編碼器能夠以協(xié)作的方式將多個(gè)備 選濾波器的優(yōu)勢(shì)結(jié)合起來(lái)。在圖2中示出了該性能優(yōu)勢(shì)。本發(fā)明的 系統(tǒng)和方法可以利用合適的轉(zhuǎn)換判決獲得參與濾波器的綜合性能增 益。
此外，因?yàn)閷?duì)與數(shù)據(jù)速率無(wú)關(guān)的單個(gè)濾波器的使用可以強(qiáng)制大 量濾波器抽頭來(lái)獲取相當(dāng)好的性能(諸如在最優(yōu)濾波器的情況中)， 所以上采樣操作的計(jì)算復(fù)雜性可以通過(guò)使用采用具有較少抽頭的濾 波器的轉(zhuǎn)換濾波器機(jī)制來(lái)降低?？梢砸允褂萌魏瓮ㄓ镁幊陶Z(yǔ)言(例 如，C/C十+或匯編語(yǔ)言)的軟件直接實(shí)現(xiàn)本發(fā)明。本發(fā)明還可以以硬 件實(shí)現(xiàn)并且在客戶設(shè)備中使用。
當(dāng)結(jié)合附圖閱讀時(shí)，本發(fā)明的這些和其他優(yōu)勢(shì)和特征連同其操 作的組織和方式將從以下詳細(xì)描述中變得明顯，其中，貫穿下面描 述的多個(gè)附圖，同樣的元素具有同樣的標(biāo)號(hào)。


圖1是對(duì)基礎(chǔ)層空間分辨率進(jìn)行二元內(nèi)插以獲取上上部空間層幀的示例的示圖2是使用AVC和最優(yōu)濾波器的轉(zhuǎn)換機(jī)制的性能的示圖3是根據(jù)本發(fā)明的上采樣濾波器轉(zhuǎn)換機(jī)制的示圖4是示出了 QP網(wǎng)格和濾波器映射的示圖5是可以在內(nèi)部實(shí)現(xiàn)本發(fā)明的系統(tǒng)的概括示圖6是可以在本發(fā)明的實(shí)現(xiàn)中使用的移動(dòng)電話的透^L圖；以及
圖7是圖6的移動(dòng)電話的電話電路的示意性示圖。
具體實(shí)施例方式
本發(fā)明增強(qiáng)了可伸縮視頻編碼中使用的現(xiàn)有的基礎(chǔ)層圖像上采 樣機(jī)制。本發(fā)明包括使用濾波器轉(zhuǎn)換機(jī)制來(lái)以協(xié)作方式利用每個(gè)濾 波器的最佳性能。本發(fā)明的轉(zhuǎn)換過(guò)程可以 一般化為更多的濾波器選 擇并且由于增加的濾波器選擇的自由度和靈活性而潛在地減輕了計(jì) 算復(fù)雜性。
為了理解本發(fā)明的本質(zhì)，可以按照其相關(guān)聯(lián)的精細(xì)顆粒SNR (FGS)可伸縮層，考慮較低空間分辨率層(這里稱作空間基礎(chǔ)層) 是有幫助的。在對(duì)基礎(chǔ)層分辨率進(jìn)行上采樣以獲取較高空間分辨率 (例如，對(duì)QCIF分辨率上采樣以獲取CIF分辨率)中，本發(fā)明提供 了不同的上采樣濾波器轉(zhuǎn)換機(jī)制。這些機(jī)制中的一些機(jī)制是針對(duì)并 不準(zhǔn)確知道有效QP的情況，在該有效QP下，在解碼器側(cè)對(duì)較低空 間分辨率層進(jìn)行上采樣。其它機(jī)制用在準(zhǔn)確知道該有效QP的情況 中。
在SVC中，空間伸縮性需要對(duì)較低空間層分辨率進(jìn)行上采樣， 以便可以將其信號(hào)用于預(yù)測(cè)上部空間層。如上所述，當(dāng)前與發(fā)生編 碼的質(zhì)量級(jí)(比特率)無(wú)關(guān)地使用單個(gè)濾波器。然而，兩個(gè)濾波器 在不同的比特率上可以具有不同的性能強(qiáng)度。為了利用候選濾波器
為了詳細(xì)描述本發(fā)明，可以如下結(jié)合其不同的FGS層來(lái)討論較 低空間層(基礎(chǔ)層)的情況。上采樣可以以固定較低空間層QP發(fā)生(例如，當(dāng)較低空間不具有FGS層時(shí))或以任意較低空間層QP發(fā) 生。以下是在已知基礎(chǔ)層QP和未知基礎(chǔ)層QP的情況下用于實(shí)現(xiàn)轉(zhuǎn) 換上采樣過(guò)程的兩種基本情形。
基于速率失真的轉(zhuǎn)換基本上，對(duì)于待編碼的每個(gè)增強(qiáng)層幀， 編碼器使用每個(gè)候選的上采樣濾波器對(duì)相應(yīng)的重構(gòu)基礎(chǔ)層幀進(jìn)行上 采樣。得到的經(jīng)上采樣的幀獨(dú)立應(yīng)用于對(duì)增強(qiáng)層幀編碼。隨后，計(jì) 算與每個(gè)上采樣濾波器相關(guān)聯(lián)的速率失真代價(jià)。產(chǎn)生最少速率失真 代價(jià)的濾波器(并且因此其對(duì)應(yīng)的增強(qiáng)層編碼比特流)被選擇為最 佳(即，最終)候選濾波器。將選擇的濾波器的索引編碼為比特流。 此類編碼可以在每幀、每個(gè)宏塊或其他周期性的基礎(chǔ)上執(zhí)行。在某 些情況中，信令可以以諸如頻語(yǔ)成分之類的視頻序列時(shí)變特征、諸 如一個(gè)宏塊和相鄰宏塊之間的頻譜差異之類的空間變化特征、或諸 如基礎(chǔ)層QP值之類的之前編碼到比特流中的其他信息為條件。此類 條件作用可以包括選擇濾波器索引的熵編碼的上下文。也可以包括 不對(duì)某些環(huán)境中的濾波器索引進(jìn)行編碼，例如在 一 個(gè)宏塊的頻譜特 征類似于相鄰宏塊的頻譜特征的時(shí)候，其中針對(duì)該相鄰宏塊已知該 濾波器索引。
基于QP的轉(zhuǎn)換。雖然之前的轉(zhuǎn)換依賴于對(duì)應(yīng)每個(gè)上采樣濾波器 的最終編碼過(guò)程結(jié)果以便為特定增強(qiáng)層幀選擇最佳候選濾波器，但 基于QP的轉(zhuǎn)換系統(tǒng)根據(jù)QP閾值在候選濾波器中選擇最佳濾波器。 本質(zhì)上，沒置用于QP—base和QP—enhance的一個(gè)或多個(gè)預(yù)定義的常 數(shù)QP閾值，從而創(chuàng)建圖4中示出的類型的QP網(wǎng)格。QP網(wǎng)格的每 個(gè)單元對(duì)應(yīng)于上采樣濾波器選才奪。因此J艮據(jù)QP一base和QP一enhance 對(duì)落在網(wǎng)格上的位置，編碼器選擇一個(gè)上采樣濾波器。QP閾值的設(shè) 置被編碼為比特流。在很多情況中，QP闊值的設(shè)置在序列的基礎(chǔ)上 是固定的，但是在其他情況中，可以周期性地或針對(duì)特定類型的幀 (例如，內(nèi)幀)對(duì)閾值進(jìn)4亍編碼，或它們的出現(xiàn)可以通過(guò)標(biāo)志位來(lái) 信號(hào)傳遞。在其他增強(qiáng)中，以使得利用相鄰QP閾值之間的相關(guān)性的 方式，例如通過(guò)對(duì)QP閾值進(jìn)行差分編碼，來(lái)執(zhí)行QP閾值本身的編碼。
基于濾波器訓(xùn)練的轉(zhuǎn)換。在基于濾波器訓(xùn)練的轉(zhuǎn)換中，編碼器 例如(但不限于)通過(guò)優(yōu)化原始增強(qiáng)分辨率幀和經(jīng)上采樣的幀之間 的誤差信號(hào)，來(lái)計(jì)算最優(yōu)濾波器系數(shù)的集合。該訓(xùn)練可以獨(dú)立于基 礎(chǔ)層和增強(qiáng)層QP值對(duì)來(lái)執(zhí)行，或者可以利用獨(dú)立于每個(gè)"類，，執(zhí)行 的訓(xùn)練將QP值對(duì)分組為"多個(gè)類"。雖然，通常期望訓(xùn)練基于每個(gè) 幀執(zhí)行，但是也可以在其他間隔上執(zhí)行，諸如具有相同類型的幀的 分組或幀的集合(例如，I幀或P幀的集合)。然后，將得到的濾波 器抽頭編碼為比特流。可以在序列、幀或其他周期性間隔的基礎(chǔ)上 完成該操作。也可以由片報(bào)頭中的字段(諸如片類型)觸發(fā)，或有 條件地基于之前編碼為比特流的信息對(duì)其進(jìn)行編碼。
當(dāng)解碼器將在其上解碼比特流的FGS層未知時(shí)，修改上述轉(zhuǎn)換 機(jī)制。在兩個(gè)變形——序列級(jí)上的基于QP的轉(zhuǎn)換和幀級(jí)上的基于 QP的轉(zhuǎn)換中采用不同濾波器選擇之間的基于QP的轉(zhuǎn)換。
對(duì)于序列級(jí)的基于QP的轉(zhuǎn)換方法，編碼器信號(hào)傳遞用于 QP—base和QP—enhance的閾值的集合(無(wú)疑在序列級(jí))。如在"已 知基礎(chǔ)層QP"的情況中，基于這些閾值形成QP網(wǎng)格。該QP網(wǎng)格 用于將給定的QP_base和QP一enhance對(duì)映射為 一 個(gè)上采樣濾波器選 擇。與"已知基礎(chǔ)層QP"的情形不同，如果在其上執(zhí)行上采樣的較 低分辨率空間層的FGS層在編解碼器的兩側(cè)之間是不同的，則編碼 器和解碼器可以使用不同的上采樣濾波器。
在幀級(jí)的基于QP的轉(zhuǎn)換方法中，因?yàn)樵鰪?qiáng)層QP (QP—QP—enhance )對(duì)于編碼器和解碼器兩者都是已知的，所以編碼 器僅在幀的基礎(chǔ)上信號(hào)傳遞用于QP_base的閾值集合。因而，解碼 器僅設(shè)置針對(duì)QP一base的區(qū)域，并且將這些區(qū)域映射為上采樣濾波 器的矢量。根據(jù)有效QP (解碼器將在其上對(duì)較低空間層分辨率進(jìn)行 上采樣)落在QP區(qū)域上的位置，解碼器選擇上采樣濾波器。
從性能的觀點(diǎn)看，本發(fā)明使編碼器能夠以協(xié)作的方式利用多個(gè)器的綜合性能增益。作為簡(jiǎn)單的示例，圖3示出了使用AVC濾波器 和最優(yōu)濾波器之間的基于速率失真轉(zhuǎn)換的足球序列(以15 fps)的本 發(fā)明的性能?；A(chǔ)層分辨率是QCIF ( 173x144),而增強(qiáng)層分辨率 是CIF ( 352x288 )。此外，因?yàn)閷?duì)數(shù)據(jù)速率無(wú)關(guān)的單個(gè)濾波器的使 用可以強(qiáng)制大量濾波器抽頭以獲取相當(dāng)好的性能(諸如在最優(yōu)濾波 器的情況中)，所以上采樣操作的計(jì)算復(fù)雜性可以通過(guò)使用采用具 有較少抽頭的濾波器的轉(zhuǎn)換濾波器機(jī)制來(lái)降低。
圖5示出了本發(fā)明可以在其中使用的系統(tǒng)10,包括可以通過(guò)網(wǎng) 絡(luò)進(jìn)行通信的多個(gè)通信設(shè)備。系統(tǒng)IO可以包括有線或無(wú)線網(wǎng)絡(luò)的任 意組合，其中這些網(wǎng)絡(luò)包括但不限于移動(dòng)電話網(wǎng)絡(luò)、無(wú)線局域網(wǎng)
(LAN)、藍(lán)牙個(gè)人局域網(wǎng)、以太網(wǎng)LAN、令牌環(huán)LAN、廣域網(wǎng)、 互聯(lián)網(wǎng)等。系統(tǒng)IO可以包括有線通信設(shè)備和無(wú)線通信設(shè)備兩者。
例如，圖5中所示系統(tǒng)10包括移動(dòng)電話網(wǎng)絡(luò)11和互聯(lián)網(wǎng)28。 通往互聯(lián)網(wǎng)28的連接性可以包括但不限于遠(yuǎn)程無(wú)線連接、短程無(wú)線 連接，以及各種有線連接，有線連接包括但不限于電話線、電纜線、 電力線等。
系統(tǒng)10的示例性通信設(shè)備可以包括但不限于移動(dòng)電話12、組合 式PDA和移動(dòng)電話14、 PDA 16、集成消息傳遞設(shè)備(IMD) 18、臺(tái) 式計(jì)算機(jī)20以及筆記本計(jì)算機(jī)22。通信設(shè)備可以是固定的或者在由 行進(jìn)中的個(gè)體攜帶時(shí)是移動(dòng)的。通信設(shè)備還可以處于交通模式中， 包括但不限于汽車、卡車、出租車、公共汽車、船、飛機(jī)、自行車、 摩托車等。該通信設(shè)備中的一些或全部可以通過(guò)通往基站24的無(wú)線 連接25發(fā)送和接收呼叫和消息，并且通過(guò)通往基站24的無(wú)線連接 25與服務(wù)提供商進(jìn)行通信?；?4可以連接至網(wǎng)絡(luò)服務(wù)器26,該 服務(wù)器26支持移動(dòng)電話網(wǎng)絡(luò)11和互聯(lián)網(wǎng)28之間的通信。系統(tǒng)10 可以包括附加的通信設(shè)備和不同類型的通信設(shè)備。
通信設(shè)備可以使用各種傳輸技術(shù)進(jìn)行通信，包括但不限于，碼 分多址(CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)、通用移動(dòng)通信系 統(tǒng)(UMTS)、時(shí)分多址(TDMA)、頻分多址(FDMA)、傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議(TCP/IP)、短消息傳遞服務(wù)(SMS)、多媒體消 息傳遞服務(wù)(MMS)、電子郵件、即時(shí)消息傳遞服務(wù)(IMS)、藍(lán) 牙、IEEE 802.il等。通信設(shè)備可以使用各種介質(zhì)進(jìn)行通信，包括但 不限于，無(wú)線、紅外、激光、線纜連接等。
圖6和圖7示出了本發(fā)明可以在其中實(shí)現(xiàn)的一個(gè)代表性移動(dòng)電 話12。然而應(yīng)當(dāng)理解，不旨在將本發(fā)明限制為一種特定類型的移動(dòng) 電話12或者其他電子設(shè)備。圖6和圖7的移動(dòng)電話12包括外殼30、 液晶顯示形式的顯示器32、小鍵盤34、麥克風(fēng)36、耳機(jī)(ear-piece ) 38、電池40、紅外端口 42、天線44、才艮據(jù)本發(fā)明一個(gè)實(shí)施例的UICC 形式的智能卡46、讀卡器48、無(wú)線接口電路52、編解碼電路54、 控制器56以及存儲(chǔ)器58。各個(gè)電路和元件可以是本領(lǐng)域公知的所有 類型，例如Nokia范圍內(nèi)的移動(dòng)電話系列。
以方法步驟的一般上下文描述了本發(fā)明，在一個(gè)實(shí)施方式中， 可由程序產(chǎn)品實(shí)現(xiàn)所述方法步驟，所述程序產(chǎn)品包括由網(wǎng)絡(luò)環(huán)境中 的計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可讀指令，諸如程序代碼。通常，程序模塊 包括例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等，其執(zhí)行特定任務(wù)或?qū)?現(xiàn)特定抽象數(shù)據(jù)類型。同數(shù)據(jù)結(jié)構(gòu)相關(guān)的計(jì)算機(jī)可執(zhí)行指令和程序 模塊代表了用于執(zhí)行這里所公開的方法的步驟的程序代碼的示例。
類步驟中描述的功能的對(duì)應(yīng)動(dòng)作的示例。
本發(fā)明的軟件和web實(shí)現(xiàn)能夠利用標(biāo)準(zhǔn)編程技術(shù)來(lái)完成，利用 基于規(guī)則的邏輯或者其他邏輯來(lái)實(shí)現(xiàn)各種數(shù)據(jù)庫(kù)搜索步驟、相關(guān)步 驟、比較步驟和判決步驟。還應(yīng)當(dāng)注意的是，此處以及權(quán)利要求書 中使用的詞語(yǔ)"組件"和"模塊"意在包括使用一行或者更多行軟件代 碼的實(shí)現(xiàn)和/或硬件實(shí)現(xiàn)和/或用于接收人工輸入的設(shè)備。
就編碼和解碼而言，應(yīng)該理解，盡管這里包含的文本和示例可 以具體地描述編碼過(guò)程，但本領(lǐng)域的技術(shù)人員將容易地理解相同的 概念和原則也適用于對(duì)應(yīng)的解碼過(guò)程，并且反之亦然。此外，應(yīng)注 意的是，待解碼的比特流可以從實(shí)際位于任何類型的網(wǎng)絡(luò)內(nèi)的遠(yuǎn)程設(shè)備接收。此外，比特流可以從本地硬件或軟件接收。
出于示例和描述的目的，已經(jīng)給出了本發(fā)明實(shí)施方式的前述說(shuō)
切形式，而是根據(jù)上述教導(dǎo)可以進(jìn)行各種變形和修改，或者是從本 發(fā)明的實(shí)踐中可以得到各種變形和修改。選擇和描述這些實(shí)施方式 是為了說(shuō)明本發(fā)明的原理及其實(shí)際應(yīng)用，以使得本領(lǐng)域的技術(shù)人員 能夠以適合于構(gòu)思的特定用途的各種實(shí)施方式和各種修改來(lái)利用本 發(fā)明。
權(quán)利要求
1. 一種將來(lái)自于重構(gòu)的較低空間分辨率層的信息重用到較高空間分辨率增強(qiáng)層中的方法，包括提供所述重構(gòu)的較低空間分辨率層；以及對(duì)所述重構(gòu)的較低空間分辨率層進(jìn)行上采樣以提供空間分辨率增強(qiáng)層，其中，對(duì)所述重構(gòu)的較低空間分辨率層的所述上采樣包括根據(jù)預(yù)定的轉(zhuǎn)換過(guò)程在多個(gè)濾波器之中轉(zhuǎn)換以對(duì)所述重構(gòu)的較低空間分辨率層進(jìn)行濾波。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述預(yù)定的轉(zhuǎn)換過(guò)程取決 于較低空間分辨率層量化參數(shù)在將發(fā)生所述上采樣的解碼器處是否 已知。
3. 根據(jù)權(quán)利要求2所述的方法，其中所述較低空間分辨率層量 化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于量化 參數(shù)的轉(zhuǎn)換過(guò)程，所述基于量化參數(shù)的轉(zhuǎn)換過(guò)程包括使得編碼器利用所述較低空間分辨率層量化參數(shù)以及所述較高空間分辨率 增強(qiáng)層量化參數(shù)的閾值集合來(lái)從多個(gè)候選濾波器中選擇濾波器，以 及將所述閾值集合以序列級(jí)通過(guò)信號(hào)傳遞至所述解碼器。
4. 根據(jù)權(quán)利要求2所述的方法，其中所述較低空間分辨率層量 化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于速率 失真的轉(zhuǎn)換過(guò)程，所述基于速率失真的轉(zhuǎn)換過(guò)程包括使得編碼器使用速率失真代價(jià)從加索引的候選濾波器的集合中選擇濾波器； 以及在幀的基礎(chǔ)上，將所選擇的濾波器在比特流中通過(guò)信號(hào)傳遞至所 述解碼器。
5. 根據(jù)權(quán)利要求2所述的方法，其中所述較低空間分辨率層量 化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于濾波器訓(xùn)練的轉(zhuǎn)換過(guò)程，所述基于濾波器訓(xùn)練的轉(zhuǎn)換過(guò)程包括使得編碼器..計(jì)算最佳濾波器系數(shù)的集合，得出多個(gè)濾波器抽頭，以及在幀的基礎(chǔ)上，將所述多個(gè)濾波器抽頭在比特流中通過(guò)信號(hào)傳遞至所述解碼器。
6. 根據(jù)權(quán)利要求2所述的方法，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處未知，并且其中所述轉(zhuǎn)換過(guò)程基于序列級(jí)的量化參數(shù)閾值。
7. 根據(jù)權(quán)利要求2所述的方法，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處未知，并且其中所述轉(zhuǎn)換過(guò)程基于幀級(jí)的量化參數(shù)閾值。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述轉(zhuǎn)換過(guò)程使得所述編碼器通過(guò)信號(hào)傳遞較低空間分辨率層量化參數(shù)的閾值集合，以便用于解碼器選擇取決于所述解碼過(guò)程的所述較低空間分辨率層量化參數(shù)的濾波器矢量。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述較低空間分辨率層包4舌l(xiāng)石出Jr。
10. —種計(jì)算機(jī)程序產(chǎn)品，其包括在計(jì)算機(jī)可讀介質(zhì)上，用于將來(lái)自于重構(gòu)的較低空間分辨率層的信息重用到較高空間分辨率增強(qiáng)層中，包括用于提供所述重構(gòu)的較低空間分辨率層的計(jì)算機(jī)代碼；以及用于對(duì)所述重構(gòu)的較低空間分辨率層進(jìn)行上采樣以提供空間分辨率增強(qiáng)層的計(jì)算機(jī)代碼，其中，對(duì)所述重構(gòu)的較低空間分辨率層的所述上釆樣包括根據(jù)預(yù)定的轉(zhuǎn)換過(guò)程在多個(gè)濾波器之中轉(zhuǎn)換以對(duì)所述重構(gòu)的較低空間分辨率層進(jìn)行濾波。
11. 根據(jù)權(quán)利要求10所述的計(jì)算機(jī)程序產(chǎn)品，其中所述預(yù)定的轉(zhuǎn)換過(guò)程取決于較低空間分辨率層量化參數(shù)在將發(fā)生所述上采樣的解碼器處是否已知。
12. 根據(jù)權(quán)利要求11所述的計(jì)算機(jī)程序產(chǎn)品，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于量化參數(shù)的轉(zhuǎn)換過(guò)程，所述基于量化參數(shù)的轉(zhuǎn)換過(guò)程包括使得編碼器利用所述較低空間分辨率層量化參數(shù)以及所述較高空間分辨率增強(qiáng)層量化參數(shù)的閾值集合來(lái)從多個(gè)候選濾波器中選擇濾波器，以及將所述閾值集合以序列級(jí)通過(guò)信號(hào)傳遞至所述解碼器。
13. 根據(jù)權(quán)利要求11所述的計(jì)算機(jī)程序產(chǎn)品，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于速率失真的轉(zhuǎn)換過(guò)程，所述基于速率失真的轉(zhuǎn)換過(guò)程包括使得編碼器使用速率失真代價(jià)從加索引的候選濾波器的集合中選擇濾波器；以及在幀的基礎(chǔ)上，將所選擇的濾波器在比特流中通過(guò)信號(hào)傳遞至所述解碼器。
14. 根據(jù)權(quán)利要求11所述的計(jì)算機(jī)程序產(chǎn)品，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于濾波器訓(xùn)練的轉(zhuǎn)換過(guò)程，所述基于濾波器訓(xùn)練的轉(zhuǎn)換過(guò)程包括使得編碼器計(jì)算最佳濾波器系數(shù)的集合，得出多個(gè)濾波器抽頭，以及在幀的基礎(chǔ)上，將所述多個(gè)濾波器抽頭在比特流中通過(guò)信號(hào)傳遞至所述解碼器。
15. 根據(jù)權(quán)利要求11所述的計(jì)算機(jī)程序產(chǎn)品，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處未知，并且其中所述轉(zhuǎn)換過(guò)程基于序列級(jí)的量化參數(shù)閾值。
16. 根據(jù)權(quán)利要求11所述的計(jì)算機(jī)程序產(chǎn)品，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處未知，并且其中所述轉(zhuǎn)換過(guò)程基于幀級(jí)的量化參數(shù)閾值。
17. 根據(jù)權(quán)利要求16所述的計(jì)算機(jī)程序產(chǎn)品，其中所述轉(zhuǎn)換過(guò)程使得所述編碼器通過(guò)信號(hào)傳遞較低空間分辨率層量化參數(shù)的閾值集合，以便用于解碼器選擇取決于所述解碼過(guò)程的所述較低空間分辨率層量化參數(shù)的濾波器矢量。
18. 根據(jù)權(quán)利要求10所述的計(jì)算機(jī)程序產(chǎn)品，其中所述較低空間分辨率層包括基礎(chǔ)層。
19. 一種解碼器，其配置為將來(lái)自于重構(gòu)的較低空間分辨率層的信息重用到較高空間分辨率增強(qiáng)層中，該解碼器包括處理器；以及存儲(chǔ)器單元，其通信地連接至所述處理器并且包括用于提供所述重構(gòu)的較低空間分辨率層的計(jì)算機(jī)代碼；以及用于對(duì)所述重構(gòu)的較低空間分辨率層進(jìn)行上采樣以提供空間分辨率增強(qiáng)層的計(jì)算機(jī)代碼，其中，對(duì)所述重構(gòu)的較低空間分辨率層的所述上采樣包括根據(jù)預(yù)定的轉(zhuǎn)換過(guò)程在多個(gè)濾波器之中轉(zhuǎn)換以對(duì)所述重構(gòu)的較低空間分辨率層進(jìn)行濾波。
20. 根據(jù)權(quán)利要求19所述的電子設(shè)備，其中所述預(yù)定的轉(zhuǎn)換過(guò)程取決于較低空間分辨率層量化參數(shù)在將發(fā)生所述上采樣的解碼器處是否已知。
21. 根據(jù)權(quán)利要求20所述的電子設(shè)備，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于量化參數(shù)的轉(zhuǎn)換過(guò)程，所述基于量化參數(shù)的轉(zhuǎn)換過(guò)程基于這樣的編碼器利用所述較低空間分辨率層量化參數(shù)以及所述較高空間分辨率增強(qiáng)層量化參數(shù)的閾值集合來(lái)從多個(gè)候選濾波器中選擇濾波器，以及將所述閾值集合以序列級(jí)通過(guò)信號(hào)傳遞至所述解碼器。
22. 根據(jù)權(quán)利要求20所述的電子設(shè)備，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于速率失真的轉(zhuǎn)換過(guò)程，所述基于速率失真的轉(zhuǎn)換過(guò)程基于這樣的編碼器使用速率失真代價(jià)從加索引的候選濾波器的集合中選擇濾波器；以及在幀的基礎(chǔ)上，將所選擇的濾波器在比特流中通過(guò)信號(hào)傳遞至所述解碼器。
23. 根據(jù)權(quán)利要求20所述的電子設(shè)備，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處已知，并且其中所述轉(zhuǎn)換過(guò)程包括基于濾波器訓(xùn)練的轉(zhuǎn)換過(guò)程，所述基于濾波器訓(xùn)練的轉(zhuǎn)換過(guò)程基于這樣的編碼器計(jì)算最佳濾波器系數(shù)的集合，得出多個(gè)濾波器抽頭，以及在幀的基礎(chǔ)上，將所述多個(gè)濾波器抽頭在比特流中通過(guò)信號(hào)傳遞至所述解碼器。
24. 根據(jù)權(quán)利要求20所述的電子設(shè)備，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處未知，并且其中所述轉(zhuǎn)換過(guò)程基于序列級(jí)的量化參數(shù)閾值。
25. 根據(jù)權(quán)利要求20所述的電子設(shè)備，其中所述較低空間分辨率層量化參數(shù)在所述解碼器處未知，并且其中所述轉(zhuǎn)換過(guò)程基于幀級(jí)的量化參數(shù)閾值。
26. 根據(jù)權(quán)利要求19所述的電子設(shè)備，其中所述較低空間分辨率層包括基礎(chǔ)層。
全文摘要
用于可伸縮視頻編碼的改進(jìn)的轉(zhuǎn)換濾波器上采樣機(jī)制。本發(fā)明的濾波器轉(zhuǎn)換機(jī)制以協(xié)作的方式利用每個(gè)濾波器的最佳性能。本發(fā)明的轉(zhuǎn)換過(guò)程可以一般化為更多的濾波器選擇并且由于增加的濾波器選擇的自由度和靈活性而潛在地減輕了計(jì)算復(fù)雜性。
文檔編號(hào)G06T9/00GK101502118SQ200780006716
公開日2009年8月5日 申請(qǐng)日期2007年1月9日 優(yōu)先權(quán)日2006年1月10日
發(fā)明者J·里奇, M·卡爾克澤維茨, N·阿瑪爾, X·王 申請(qǐng)人:諾基亞公司