專利名稱：用于可分級視頻編碼和解碼的方法和設備的制作方法
技術(shù)領(lǐng)域：
根據(jù)本發(fā)明的設備和方法涉及視頻壓縮，更具體地講，涉及使用在每級具有不同系數(shù)的濾波器通過執(zhí)行小波變換支持來空間域可分級性的視頻編碼。
背景技術(shù)：
隨著包括互聯(lián)網(wǎng)的信息通信技術(shù)的發(fā)展，視頻通信以及文本和語音通信迅速增加。傳統(tǒng)的文本通信不能滿足不同用戶的需求，因此能提供不同類型信息，例如，文本、圖片和音樂的多媒體服務已經(jīng)增加。因為相對于其他類型的數(shù)據(jù)，多媒體數(shù)據(jù)的數(shù)量通常巨大，所以需要大容量的存儲介質(zhì)和用于傳輸?shù)膶挼膸挕Ｒ虼?，需要壓縮編碼方法傳送包括文本、視頻和音頻的多媒體數(shù)據(jù)。例如，具有640×480分辨率的24位真彩色圖像需要640×480×24位的容量，即每幀大約7.37兆比特的數(shù)據(jù)。當以每秒30幀的速度傳送這樣的圖像時，需要221兆比特/秒的帶寬。當存儲基于這樣圖像的90分鐘電影時，需要大約1200吉比特的存儲空間。因此，對于傳送包括文本、視頻和音頻的多媒體數(shù)據(jù)，壓縮編碼方法是必不可少的。
在這樣的壓縮編碼方法中，數(shù)據(jù)壓縮的基本原理在于去除數(shù)據(jù)冗余。數(shù)據(jù)冗余一般被定義為空間冗余、時間冗余和心理視覺冗余，其中，空間冗余是在圖像中相同顏色或物體重復出現(xiàn)；時間冗余是在運動圖像中相鄰幀之間存在很少的變換或是在音頻中相同的聲音重復出現(xiàn)；心理視覺冗余是考慮到人眼視力和感知力對高頻遲鈍。通過去除這樣的數(shù)據(jù)冗余可以壓縮數(shù)據(jù)。數(shù)據(jù)壓縮根據(jù)源數(shù)據(jù)是否被損失被主要地分為有損/無損壓縮，根據(jù)單獨幀是否被獨立壓縮被主要分為幀內(nèi)/幀間壓縮，根據(jù)壓縮所需的時間是否與恢復所需時間相同被主要分為對稱/非對稱壓縮。另外，當壓縮/恢復時間延遲不超過50毫秒時，數(shù)據(jù)壓縮被定義為實時壓縮；當幀具有不同的分辨率時，數(shù)據(jù)壓縮被定義為可分級壓縮。例如，對于文本或醫(yī)學數(shù)據(jù)，通常使用無損壓縮。對于多媒體數(shù)據(jù)，通常使用有損壓縮。同時，幀內(nèi)壓縮通常被用于去除空間冗余，幀間壓縮通常被用于去除時間冗余。
根據(jù)傳輸介質(zhì)傳輸性能不同。目前使用的傳輸介質(zhì)具有不同的傳輸率。例如，超高速通信網(wǎng)絡每秒能傳輸數(shù)十兆比特的數(shù)據(jù)，而移動通信網(wǎng)絡具有每秒384千比特的傳輸率。在相關(guān)的技術(shù)中，視頻編碼方法，例如運動圖片專家組(MPEG)-1、MPEG-2、H.263和H.264，通過基于運動估計和補償?shù)倪\動補償來去除時間冗余，通過變換編碼來去除空間冗余。這些方法具有滿意的壓縮率，但是由于它們在主要算法中使用了反射方法，所以它們不具有真實的可分級比特流的靈活性。因此，近年來，小波視頻編碼已經(jīng)被活躍地研究?？煞旨壭灾傅氖菍我粔嚎s的比特流部分解碼的能力，即執(zhí)行多種類型的視頻再現(xiàn)的能力?？煞旨壭园ū硎疽曨l分辨率的空間可分級性、表示視頻質(zhì)量水平的信噪比(SNR)可分級性、表示幀率的時間可分級性，及其組合物。
在可分級視頻編碼中，小波變換是去除空間冗余的典型技術(shù)。圖1A和圖1B表示了可分級視頻編碼的小波變換過程。
參照圖1A，用低通濾波器Lx和高通濾波器Hx對幀的每一行濾波，然后該幀被下采樣以產(chǎn)生中間圖像L和H。也就是說，中間圖像L是被低通濾波并在x方向上下采樣后的原始幀，中間圖像H是被高通濾波并在x方向上下采樣后的原始幀。然后，L和H圖像的各自的列用低通濾波器Ly和高通濾波器Hy被再次濾波，由二者的因子下采樣以產(chǎn)生四個子帶LL，LH，HL和HH。這四個子帶被結(jié)合在一起以產(chǎn)生具有和原始幀相同的樣本數(shù)的單個的合成圖像。LL圖像是被水平和垂直地低通濾波并由2的冪下采樣后的原始幀。HL圖像是被垂直地高通濾波、水平地低通濾波并由2的冪下采樣后的原始幀。
如上所述，在小波變換中，幀被分解成4部分。和整個圖像相似的四分一大小的圖像(L子帶)出現(xiàn)在幀的左上部分，從L圖像中重建整個圖像所需的信息(H子帶)出現(xiàn)在其他三個部分。用同樣的方法，L子帶可被分解成四分一大小的LL子帶和重建L圖像所需的信息。
在量化后，所有基于小波的視頻或圖像編解碼器使用相同的小波濾波器對從運動估計或原始信號中獲得的剩余的信號反復執(zhí)行空間小波變換以去除空間冗余來實現(xiàn)壓縮。根據(jù)所使用的小波濾波器的類型，有不同的小波變換方法。根據(jù)系數(shù)的數(shù)目，小波濾波器，例如哈爾(Haar)、5/3、9/7和11/13濾波器具有不同的特性。確定例如哈爾、5/3、9/7或11/13小波濾波器特性的系數(shù)被稱為小波核。大多數(shù)基于小波的視頻/圖像編解碼器使用9/7小波濾波器，該濾波器以其展示的卓越性能而知名。
從9/7濾波器獲得的低分辨率信號包括大量的代表對于裸眼來說幾乎不可見的微觀組織的高頻成分，因此降低編解碼器的壓縮性能。另一方面，減少與低通頻帶相對應的微觀信息的能量導致高通頻帶能量的緊縮，從而降低想通過集中低通頻帶中大部分的能量以增加壓縮比的基于小波的壓縮性能。在低分辨率時性能降低出現(xiàn)的更嚴重。
為解決以上問題，需要設計一種視頻編碼算法，該算法在不明顯減少高分辨率時的性能的同時，提高在低分辨率時的性能。

發(fā)明內(nèi)容
本發(fā)明提供一種可分級視頻編碼和解碼的方法和設備，這種可分級視頻編碼和解碼根據(jù)輸入視頻或圖像的分辨率或復雜度，通過在每個級上使用不同的小波濾波器執(zhí)行小波變換呈現(xiàn)提高的性能。
根據(jù)本發(fā)明的一方面，提供了一種視頻編碼方法，該方法包括去除在多個輸入的幀內(nèi)的時間和空間冗余；量化通過去除時間和空間冗余獲得的變換系數(shù)；和使用量化的變換系數(shù)產(chǎn)生比特流，其中，根據(jù)小波分解級應用多個小波核通過小波變換去除空間冗余。
根據(jù)本發(fā)明的另一方面，提供了一種視頻編碼器，該視頻編碼器包括時間變換器，用于接收多個幀并去除在多個幀內(nèi)的時間冗余；空間變換器，根據(jù)小波分解級通過使用多個小波核執(zhí)行小波變換來去除空間冗余；量化器，用于量化通過去除時間和空間冗余獲得的變換系數(shù)；和比特流發(fā)生器，使用量化的變換系數(shù)產(chǎn)生比特流。
根據(jù)本發(fā)明的另一方面，提供一種視頻解碼方法，該方法包括解譯接收到的比特流并提取關(guān)于編碼幀的信息；量化關(guān)于編碼幀的信息并獲得變換系數(shù)；以與去除編碼幀內(nèi)冗余的順序相反的順序執(zhí)行逆空間變換和逆時間變換并重建編碼幀，其中，逆空間變換是以與應用多個小波核的順序相反的順序根據(jù)小波分解級使用多個小波核對變換系數(shù)執(zhí)行的逆小波變換。
根據(jù)本發(fā)明的另一方面，提供一種視頻解碼器，該視頻解碼器包括比特流解譯器，用于解譯接收到的比特流并提取關(guān)于編碼幀的信息；逆量化器，用于將關(guān)于編碼幀的信息逆量化為變換系數(shù)；逆空間變換器，以與應用多個小波核的順序相反的順序根據(jù)小波分解級使用多個小波核對變換系數(shù)執(zhí)行逆小波變換；和逆時間變換器，用于執(zhí)行逆時間變換，其中，以與去除幀內(nèi)的冗余的順序相反的順序?qū)ψ儞Q系數(shù)執(zhí)行逆空間變換和逆時間變換。


通過參考附圖對其示例性實施例進行詳細地描述，本發(fā)明以上和其它方面將會變得更清楚，其中圖1A和圖1B示出可分級視頻編碼的小波變換過程；圖2示出在基于運動補償時間濾波(MCTF)的可分級視頻編碼和解碼中的時間分解過程；圖3示出在基于無約束MCTF(UMCTF)的可分級視頻編碼中的時間分解過程；圖4是根據(jù)本發(fā)明的第一示例性實施例的可分級視頻編碼器的方框圖；圖5是根據(jù)本發(fā)明的第二示例性實施例的可分級視頻編碼器的方框圖；圖6是根據(jù)本發(fā)明的示例性實施例的在圖4或圖5中顯示的空間變換器的詳細方框圖；圖7示出根據(jù)本發(fā)明的示例性實施例的多核小波變換過程；圖8是示出根據(jù)本發(fā)明的第一示例性實施例的可分級視頻編碼過程的流程圖；圖9是示出根據(jù)本發(fā)明的第二示例性實施例的可分級視頻編碼過程的流程圖；圖10是根據(jù)本發(fā)明的示例性實施例的可分級視頻解碼器的方框圖；和圖11是示出根據(jù)本發(fā)明的示例性實施例的可分級視頻解碼過程的流程圖。
具體實施例方式
現(xiàn)在將參考附圖更全面地描述本發(fā)明，附圖中顯示本發(fā)明的實施例。
圖2示出在基于運動估計時間濾波(MCTF)的可分級視頻編碼和解碼中的時間分級過程。
參考圖2，在MCTF中，對圖片群(GOP)執(zhí)行編碼，在運動方向上對一對當前幀和參考幀進行時間濾波。
在許多用于基于小波的可分級視頻編碼的技術(shù)中，由Ohm提出并由Choi和Wood改進的MCTF是用于去除時間冗余和用于具有靈活的時間可分級性的視頻編碼的實質(zhì)性技術(shù)。在MCTF中，對GOP執(zhí)行編碼，在運動方向上對一對當前幀和參考幀進行時間濾波。
在圖2中，L幀是與幀的均值相對應的低頻幀，而H幀是與幀間的差值相對應的高頻幀。如圖2所示，在編碼過程中，在低時間級上的幀對被時間濾波，然后被分解成在較高時間級上的L幀和H幀對，L幀對被再次時間濾波且被分解為在較高時間級上的幀。編碼器對在最高時間級的一個L幀和多個H幀執(zhí)行小波變換并產(chǎn)生比特流。在附圖中用陰影表示的幀是那些經(jīng)受小波變換的幀。更具體地說，編碼器對從低時間級到高時間級的幀執(zhí)行編碼。同時，解碼器為重建對通過從高的級到低的級的逆小波變換獲得的用陰影表示的幀執(zhí)行與編碼器相逆的操作。也就是說，時間級3上的L和H幀被用來重建在時間級2上的兩個L幀，時間級2上的兩個L幀和兩個H幀被用來重建時間級1上的4個L幀。最終，時間級1上的4個L幀和這4個H幀被用來重建8個幀。這種基于MCTF的視頻編碼具有改進的靈活的時間可分級性的優(yōu)點，但也具有例如單向運動估計和在低時間率中差的性能的缺點。已經(jīng)研究和發(fā)展了許多方法用來克服這些缺點的方法。其中之一是由Turaga和Mihaela提出的無約束的MCTF(UMCTF)，將參考圖3來描述。
圖3示意性地示出在使用UMCTF的可分級視頻編碼和解碼期間的時間分解。
UMCTF允許使用多個參考幀和雙向濾波，因此提供了更為普通的構(gòu)架。另外，在UMCTF方案中，通過適當?shù)夭迦胛唇?jīng)濾波的幀，即A-幀，非叉狀分枝的時間濾波器是切實可行的。UMCTF使用A-幀代替經(jīng)過濾波的L-幀，因此顯著地增加了在低時間級上的圖片的質(zhì)量。這是因為L幀的視覺質(zhì)量會因為不準確的運動估計經(jīng)常被顯著降低。因為許多試驗結(jié)果表明不具有幀更新操作的UMCTF提供比MCTF更好的性能，所以，不具有更新操作的UMCTF的特殊形式通常比自適應地選擇低通濾波器的UMCTF的最普通形式使用的更多。
圖4是根據(jù)本發(fā)明的第一示例性實施例的可分級視頻編碼器的方框圖。
在視頻序列中，可分級視頻編碼器接收多個幀，在逐GOP基礎(chǔ)上壓縮幀，產(chǎn)生比特流。為實現(xiàn)這個目的，可分級視頻編碼器包括時間變換器410，用于去除存在于多個幀內(nèi)的時間冗余；空間變換器420，用于去除空間冗余；量化器430，用于量化通過去除時間和空間冗余產(chǎn)生的變換系數(shù)；和比特流發(fā)生器440，用于產(chǎn)生包含結(jié)果量化的變換系數(shù)和其他信息的比特流。
時間變換器410包括運動估計器412和時間濾波器414，以通過對幀之間的運動補償來執(zhí)行時間濾波。運動估計器412計算在經(jīng)受時間濾波的當前幀內(nèi)的每一塊與在參考幀內(nèi)的其對應塊之間的運動向量。接收關(guān)于運動向量的信息的時間濾波器414使用該信息對多個幀執(zhí)行時間濾波。
空間變換器420使用小波變換以從時間冗余已被從其去除的幀即已經(jīng)過時間濾波的幀內(nèi)去除空間冗余。如上所述，在小波變換中，一幀被分解為四部分。和整個圖像相似的四分一大小的圖像(L子帶)出現(xiàn)在幀的左上部分，根據(jù)L圖像來重建整個圖像所需的信息(H子帶)出現(xiàn)在其他三個部分。用同樣的方法，L子帶可被分解成四分一大小的LL子帶和重建L圖像所需的信息。
在本示例性實施例中，當在許多小波分解級上反復執(zhí)行小波變換時，根據(jù)小波分解級可使用多個小波核。在這個說明書中，根據(jù)小波分解級應用多個小波核包括在多個級中，在多于兩個級上應用不同的小波核的情況，以及在每個級上應用一個不同的小波核的情況。例如，小波變換可在級1、2和3上分別用核A、B和C來執(zhí)行小波變換?；蛘?，當核B被用于級2和3上時，核A可被用在級1上。另外，當核B可被應用于級3上時，相同的核A可被應用在級1和2上。
視頻編碼器可包含選擇在每個級上將被使用的小波核的功能，下面將參考圖6詳細描述?；蛘撸〔ê艘部梢杂捎脩暨x擇。
經(jīng)過時間濾波后的幀被空間變換成變換系數(shù)，然后變換系數(shù)被發(fā)送到量化器430用于量化。量化器430將實際的變換系數(shù)轉(zhuǎn)變成整數(shù)變換系數(shù)?；贛CTF的視頻編碼器使用嵌入式量化。通過對變換系數(shù)執(zhí)行嵌入式量化，可分級視頻編碼器可減少將傳送的信息量，實現(xiàn)信噪比(SNR)可分級性。目前使用的嵌入式量化算法有嵌入式零元樹小波變換(EZW)、多級樹集合分裂(SPIHT)、嵌入式零塊編碼(EZBC)和最優(yōu)截斷的嵌入式塊編碼(EBCOT)。
比特流發(fā)生器440產(chǎn)生包含編碼的圖像數(shù)據(jù)、從運動估計器412獲得的運動向量和其他必須的信息的比特流。
可分級視頻編碼方法包括這樣一種方法對幀執(zhí)行空間變換(即小波變換)，然后執(zhí)行時間變換，該方法被稱為帶內(nèi)可分級視頻編碼，將參考圖5來描述。
圖5是根據(jù)本發(fā)明的第二示例性實施例的可分級視頻編碼器的方框圖。
設計的帶內(nèi)可分級視頻編碼是為了在去除空間冗余之后去除存在于組成視頻序列的多個幀內(nèi)的時間冗余。
參考圖5，空間變換器510對每個幀執(zhí)行小波變換以去除存在于幀內(nèi)的空間冗余。
時間變換器520包括運動估計器522和時間濾波器524，對從其在小波域中已經(jīng)去除空間冗余的幀執(zhí)行時間濾波以去除時間冗余。
量化器530將量化應用于通過去除幀內(nèi)的空間和時間冗余獲得的變換系數(shù)。比特流發(fā)生器540將運動向量和經(jīng)受量化的編碼圖像組合為比特流。
圖6是根據(jù)本發(fā)明的示例性實施例的空間變換器(圖4或圖5中顯示的420或510)的詳細方框圖。
當根據(jù)小波分解級使用多個小波核來執(zhí)行小波變換時，空間變換器420或510選擇將被用在每個級上的濾波器。在示例性實施例中，根據(jù)輸入視頻或圖像的復雜度或分辨率，空間變換器420或510的濾波器選擇器610選擇合適的小波濾波器，并將關(guān)于所選擇的濾波器的信息發(fā)送到小波變換器620和比特流發(fā)生器440或540。由于在輸入圖像具有高復雜度或分辨率的情況下，詳細的組織信息的表示是必須的，所以在低的級上選擇在低通頻帶中提供好的能量壓縮代替平滑低通頻帶的核。產(chǎn)生較為平滑的低通頻帶的核可在較高的級上被使用以有效地減少微觀組織信息。
例如，當在級1上使用傳統(tǒng)的9/7濾波器時，具有較大數(shù)目的系數(shù)的核，例如11/13和13/15，或由用戶設計的能提供比9/7濾波器較為平滑的低通頻帶的核，可在較低分辨率的級上被使用。
小波轉(zhuǎn)換器620用根據(jù)接收到的濾波器信息由濾波器選擇器610在每個級上選擇的小波濾波器執(zhí)行小波變換，并將通過小波變換創(chuàng)建的變換系數(shù)提供給時間變換器520或量化器430。
圖7示出根據(jù)本發(fā)明的示例性實施例的多核小波變換過程。
在低通頻帶中減少組織信息的平滑小波核，可被用在較高的級上。例如，傳統(tǒng)的9/7濾波器、11/13濾波器和13/15濾波器可被分別用作核1、核2和核3。盡管低通頻帶中的平滑程度隨濾波器中的系數(shù)數(shù)目增加而增加，即便當具有相同的系數(shù)數(shù)目的濾波器被使用時，平滑程度可根據(jù)算法或變換系數(shù)的值改變。因此，在本發(fā)明中，代表核的系數(shù)不絕對地確定在低通頻帶中的平滑程度。
圖8是示出根據(jù)本發(fā)明的第一個示例性實施例的可分級視頻編碼過程的流程圖。
參考圖8，當在操作S810中輸入視頻或圖像時，在操作S820中，運動估計器(圖4的412)和時間濾波器(圖4的414)對輸入視頻或圖像中的幀順序地執(zhí)行運動估計和時間濾波。在操作S850中，使用在操作S840中選擇的小波濾波器對經(jīng)過時間濾波的幀執(zhí)行小波變換。在操作S860中，由小波變換產(chǎn)生的變換系數(shù)被量化，然后在操作S870中，該變換系數(shù)被編碼為比特流。
在操作S840中，在可分級視頻編碼器中，可由用戶或濾波器選擇器(圖6的610)選擇小波濾波器。在操作S870中，產(chǎn)生包含由用戶或濾波器選擇器提供的關(guān)于小波核的信息的比特流?；蛘撸旉P(guān)于將被使用在每個級上的小波核的信息在編碼器和解碼器之間共享時，在比特流中可不包含該信息。
同時，當由在圖5中顯示的編碼器執(zhí)行可分級視頻編碼過程時，濾波器選擇(操作S840)和小波變換(操作S850)緊隨運動估計和時間濾波之后(操作S820)。
圖9是示出根據(jù)本發(fā)明的第二示例性實施例的可分級視頻編碼過程的流程圖。
圖9的可分級視頻編碼過程的操作以與在圖8中的操作相同的順序被執(zhí)行。也就是說，當在操作S910中輸入圖像時，運動估計和時間濾波(操作S920)、濾波器選擇(操作S930)和使用選擇的小波濾波器(操作S940)的小波變換被順序執(zhí)行。
在圖8中顯示的可分級視頻編碼過程中，當為每個視頻序列選擇將被使用在小波變換的每個級上的小波核時，使用相同的小波核執(zhí)行小波變換直到視頻序列的結(jié)束為止。然而，當在視頻序列編碼期間，圖像的復雜度或分辨率發(fā)生改變時，根據(jù)本示例性實施例的可分級視頻編碼過程還包括自適應地改變?yōu)V波器(操作S970)。對于已經(jīng)動態(tài)改變復雜度或分辨率的視頻序列，將被用在每個級上的一組小波核可在逐GOP或逐場景的基礎(chǔ)上被改變。
圖10是根據(jù)本發(fā)明的示例性實施例的可分級視頻解碼器的方框圖。
可分級視頻解碼器包括比特流解譯器1010，用于解譯接收到的比特流并從該接收到的比特流中提取每一個部分；第一解碼單元1020，用于重建由圖4中顯示的可分級視頻編碼器編碼后的圖像；和第二解碼單元1030，用于重建由圖5中顯示的可分級視頻編碼器編碼后的圖像。
第一和第二解碼單元1020和1030可通過硬件或軟件模塊來實現(xiàn)。在這種情況下，第一和第二解碼單元1020和1030可如圖10顯示的被彼此分開，或集成為單一的模塊。當?shù)谝缓偷诙獯a單元1020和1030被集成為單一模塊時，第一和第二解碼單元1020和1030以由比特流解譯器1010確定的不同的順序來執(zhí)行逆冗余去除。
盡管圖10中顯示的可分級視頻解碼器重建根據(jù)不同的冗余去除順序編碼的所有圖像，而其也可被設計以僅重建根據(jù)一個冗余去除順序編碼的圖像。
比特流解譯器1010解譯輸入的比特流，提取編碼圖像的數(shù)據(jù)(編碼幀)，并確定冗余去除順序。當時間冗余被去除然后在視頻序列中空間冗余被去除時，通過第一解碼單元1020來重建視頻序列。另一方面，當空間冗余被去除，然后在視頻序列中時間冗余被去除時，通過第二解碼序列單元1030來重建視頻序列。另外，比特流解譯器1010解譯比特流以獲得關(guān)于在小波變換期間在各自的級上使用的多個小波濾波器的信息。當關(guān)于小波濾波器的信息在編碼器和解碼器之間共享時，該信息可不被包含在該比特流中。將描述在第一和第二解碼單元1020和1030中重建視頻序列的過程。
輸入到第一解碼單元1020中的編碼幀信息通過逆量化器1022被逆量化為變換系數(shù)，然后該變換系數(shù)通過逆空間變換器1024經(jīng)受逆小波變換。以與小波濾波器在每個級上被使用的順序相反的順序，通過使用逆小波濾波器來執(zhí)行逆小波變換。逆時間變換器1026使用通過解譯輸入比特流獲得的運動向量，對經(jīng)受逆小波變換的變換系數(shù)執(zhí)行逆時間變換，并重建組成視頻序列的幀。
另一方面，輸入到第二解碼單元1030中的編碼的幀信息通過逆量化器1022被逆量化為變換系數(shù)，然后該變換系數(shù)通過逆時間變換器1034經(jīng)受逆時間變換。經(jīng)受逆時間變換的編碼幀信息被轉(zhuǎn)換成空間變換的幀。逆空間變換器1036將逆空間變換應用于空間變換的幀并重建組成視頻序列的幀。逆空間變換所需的關(guān)于多個小波核的信息，可從比特流解譯器1010獲得或在編碼器和解碼器之間共享。逆小波變換被用于逆空間變換。
圖11是示出根據(jù)本發(fā)明的示例性實施例的可分級視頻解碼過程的流程圖。
在第一解碼單元(圖10的1020)中的解碼過程包括解譯比特流(操作S1110)，對編碼幀信息逆量化(操作S1120)，根據(jù)濾波器信息使用濾波器執(zhí)行逆小波變換(操作S1130)和執(zhí)行逆時間變換(操作S1140)。另一方面，以與第一解碼單元(圖10的1020)中的解碼過程的操作不同的順序來執(zhí)行在第二解碼單元(圖10的1030)中的解碼過程的操作。具體地說，在第二解碼單元(圖10的1030)中的解碼過程包括解譯比特流(操作S1110)，逆量化編碼幀信息(操作S1120)，執(zhí)行逆時間變換(操作S1140)和根據(jù)濾波器信息使用濾波器來執(zhí)行逆小波變換(操作S1130)。
在操作S1110中，為了提取關(guān)于被用在每個級上的小波核的信息，由比特流解譯器(圖10的1010)來解譯比特流。當關(guān)于小波核的信息在編碼器和解碼器之間共享時，提取操作可被省略。
在操作S1130中，根據(jù)與在小波變換期間將小波核應用在每個級上的順序相反的順序，使用逆小波濾波器來執(zhí)行逆小波變換。如上所示，根據(jù)從比特流中提取的信息或在編碼器和譯碼器之間共享的信息來確定該順序。
根據(jù)本發(fā)明，在小波變換期間，在每個級上使用不同的小波核以實現(xiàn)具有在低分辨率時提高性能的視頻編碼。
雖然如上所述小波變換方法被應用于支持時間可分級性和空間可分級性兩者的視頻編碼和解碼，其中，該小波變換方法應用多個不同的小波核，即在每個級上使用不同小波濾波器，但是本領(lǐng)域的普通技術(shù)人員將理解，小波變換被應用到僅支持空間可分級性的視頻(圖像)編碼和解碼技術(shù)。
本領(lǐng)域的普通技術(shù)人員應該理解，在不脫離由下面的權(quán)利要求限定本發(fā)明的精神和范圍的情況下，可以對其進行形式和細節(jié)的各種改變。因此，應該理解上面所述的示例性實施例只是為了舉例說明，不能被解釋為對本發(fā)明的限制。本發(fā)明的范圍由所附的權(quán)利要求給出，而不由前面的描述給出，落于權(quán)利要求的范圍內(nèi)的所有的變化和等同物包含在其中。
權(quán)利要求
1.一種視頻編碼方法，包括去除多個幀內(nèi)的時間和空間冗余；量化通過去除時間和空間冗余獲得的變換系數(shù)；和使用量化的變換系數(shù)產(chǎn)生比特流，其中，根據(jù)小波分級使用多個小波核，通過執(zhí)行小波變換來去除空間冗余。
2.根據(jù)權(quán)利要求1所述的方法，其中，比特流包含關(guān)于多個小波核的信息。
3.根據(jù)權(quán)利要求1所述的方法，其中，多個小波核根據(jù)幀的狀態(tài)改變。
4.根據(jù)權(quán)利要求3所述的方法，其中，幀的狀態(tài)是幀的復雜度和分辨率中的至少一個。
5.根據(jù)權(quán)利要求1所述的方法，其中，多個小波核在較高的級上產(chǎn)生較平滑的低通頻帶。
6.根據(jù)權(quán)利要求1所述的方法，其中，多個小波核包括級1上的9/7核，級2上的11/13核和級2上的13/15核中的至少一個和級3上的核，該核能產(chǎn)生和由級2上的核產(chǎn)生的低通頻帶一樣平滑或比由級2上的核產(chǎn)生的低通頻帶較平滑的低通頻帶。
7.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)幀的狀態(tài)，基于圖片群基礎(chǔ)和場景基礎(chǔ)中的至少一個，多個小波核被自適應地改變。
8.一種視頻編碼器，包括時間變換器，用于接收多個幀并去除在多個幀內(nèi)的時間冗余；空間變換器，根據(jù)小波分解級使用多個小波核通過執(zhí)行小波變換來去除空間冗余；量化器，用于量化通過去除時間和空間冗余獲得的變換系數(shù)；和比特流發(fā)生器，使用量化的變換系數(shù)來產(chǎn)生比特流。
9.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，時間變換器將從其去除時間冗余的幀提供給隨后去除幀內(nèi)的空間冗余并獲得變換系數(shù)的空間變換器。
10.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，空間變換器將從其已使用小波變換去除空間冗余的幀提供給隨后去除幀內(nèi)的時間冗余并獲得變換系數(shù)的時間變換器。
11.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，空間變換器包括濾波器選擇器，根據(jù)小波分解級選擇多個小波核；和小波變換器，使用選擇的多個小波核執(zhí)行小波變換。
12.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，多個小波核根據(jù)幀的狀態(tài)改變。
13.根據(jù)權(quán)利要求12所述的視頻編碼器，其中，幀的狀態(tài)是幀的復雜度和幀的分辨率中的至少一個。
14.根據(jù)權(quán)利要求12所述的視頻編碼器，其中，比特流包含關(guān)于多個小波核的信息。
15.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，多個小波核在較高的級上產(chǎn)生較平滑低通頻帶。
16.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，多個小波核包括級1上的9/7核；級2上的11/13核和級2上的13/15核中的至少一個；級3上的核，產(chǎn)生和由級2上的核產(chǎn)生的低通頻帶一樣平滑或比由級2上的核產(chǎn)生的低通頻帶較平滑的低通頻帶。
17.根據(jù)權(quán)利要求8所述的視頻編碼器，其中，根據(jù)幀的狀態(tài)，基于圖片群基礎(chǔ)和場景基礎(chǔ)中的至少一個，多個小波核被自適應地改變。
18.一種視頻解碼方法，包括解譯比特流并提取關(guān)于編碼幀的信息；逆量化關(guān)于編碼幀的信息并獲得變換系數(shù)；以與去除編碼幀內(nèi)的冗余的順序相反的順序執(zhí)行逆空間變換和逆時間變換并重建編碼幀，其中，逆空間變換是以與應用多個小波核的順序相反的順序根據(jù)小波分解級使用多個小波核對變換系數(shù)執(zhí)行的逆小波變換。
19.根據(jù)權(quán)利要求18所述的方法，其中，執(zhí)行逆空間變換和逆時間變換包括在逆空間變換后對從變換系數(shù)獲得的幀執(zhí)行逆時間變換。
20.根據(jù)權(quán)利要求18所述的方法，其中，執(zhí)行逆空間變換和逆時間變換包括在逆時間變換后對從變換系數(shù)獲得的幀執(zhí)行逆空間變換。
21.根據(jù)權(quán)利要求18所述的方法，其中，比特流包括關(guān)于多個小波核的信息。
22.根據(jù)權(quán)利要求18所述的方法，其中，多個小波核在較高的級上產(chǎn)生較平滑的低通頻帶。
23.一種視頻解碼器，包括比特流解譯器，用于解譯比特流并提取關(guān)于編碼幀的信息；逆量化器，用于將關(guān)于編碼幀的信息逆量化為變換系數(shù)；逆空間變換器，以與應用多個小波核的順序相反的順序根據(jù)小波分解級使用多個小波核對變換系數(shù)執(zhí)行逆小波變換；逆時間變換器，用于執(zhí)行逆時間變換，其中，以與去除幀內(nèi)冗余的順序相反的順序?qū)ψ儞Q系數(shù)執(zhí)行逆空間變換和逆時間變換。
24.根據(jù)權(quán)利要求23所述的視頻解碼器，其中，變換系數(shù)在逆空間變換之后經(jīng)受逆時間變換。
25.根據(jù)權(quán)利要求23所述的視頻解碼器，其中，變換系數(shù)在逆時間變換之后經(jīng)受逆空間變換。
26.根據(jù)權(quán)利要求23所述的視頻解碼器，其中，比特流包含關(guān)于多個小波核的信息。
27.根據(jù)權(quán)利要求23所述的視頻解碼器，其中，多個小波核在較高的級上產(chǎn)生較平滑的低通頻帶。
28.一種在其記錄有計算機可讀程序的記錄介質(zhì)，其中該程序用于運行視頻編碼方法，該方法包括去除在多個幀內(nèi)的時間和空間冗余；量化通過去除時間和空間冗余獲得的變換系數(shù)；和使用被量化的變換系數(shù)產(chǎn)生比特流，其中，根據(jù)小波分解級使用多個小波核，通過執(zhí)行小波變換來去除空間冗余。
29.一種在其記錄有計算機可讀程序的記錄介質(zhì)，其中該程序用于運行視頻解碼方法，該方法包括解譯比特流并提取關(guān)于編碼幀的信息；量化關(guān)于編碼幀的信息并獲得變換系數(shù)；以與去除編碼幀內(nèi)冗余的順序相反的順序執(zhí)行逆空間變換和逆時間變換并重建編碼幀，其中，逆空間變換是以與應用多個小波核的順序相反的順序根據(jù)小波分解級使用多個小波核對變換系數(shù)執(zhí)行的逆小波變換。
全文摘要
提供了一種根據(jù)小波分解級通過使用具有不同系數(shù)的濾波器執(zhí)行小波變換來支持空間可分級性的視頻編碼的方法和設備。視頻編碼方法包括去除在多個輸入幀內(nèi)的時間和空間冗余；量化通過去除時間和空間冗余獲得的變換系數(shù)；和使用量化的變換系數(shù)產(chǎn)生比特流，其中，根據(jù)小波分解級使用多個小波核來去除空間冗余。
文檔編號H04N7/26GK1722837SQ20051008287
公開日2006年1月18日 申請日期2005年7月11日 優(yōu)先權(quán)日2004年7月14日
發(fā)明者韓宇鎮(zhèn) 申請人:三星電子株式會社