專利名稱：用于視頻壓縮的高性能環(huán)路濾波器的制作方法
技術(shù)領(lǐng)域：
本申請涉及用于視頻壓縮的高性能環(huán)路濾波器。
背景技術(shù)：
由于圖像和視頻的數(shù)據(jù)量較大，所以在傳輸或存儲(chǔ)時(shí)，總是將它們用壓縮的形式表示?；趬K的轉(zhuǎn)換編碼被廣泛用于圖像壓縮方法。首先，采用8階DCT(Order-SDCT)來壓縮信號(hào)能量，然后，對(duì)轉(zhuǎn)換系數(shù)應(yīng)用量化處理。基于塊的轉(zhuǎn)換編碼還廣泛用于視頻數(shù)據(jù)，該視頻數(shù)據(jù)先被幀內(nèi)/幀間預(yù)測壓縮以進(jìn)一步壓縮信號(hào)能量。然后，對(duì)視頻信號(hào)的殘差轉(zhuǎn)換系數(shù)執(zhí)行量化。這樣的視頻編碼方法常由于其使用轉(zhuǎn)換編碼和預(yù)測編碼而被稱為混合視 頻編碼。大多數(shù)視頻編碼標(biāo)準(zhǔn)(包括H.264/AVC)采用混合視頻編碼。在圖像和視頻編碼系統(tǒng)中，量化是導(dǎo)致編碼失真(例如塊效應(yīng)和環(huán)狀假影)的主源。為了減少混合視頻編碼中的失真，采用兩種主要途徑將去塊濾波器(deblockingfilter)集成到視頻編解碼器。去塊濾波器可用作后處理濾波器或環(huán)路濾波器。后處理濾波器僅在編碼環(huán)之外的顯示緩沖上運(yùn)行，因此在標(biāo)準(zhǔn)化過程中不是規(guī)范的。在編碼環(huán)中運(yùn)行的環(huán)路濾波器和過濾幀被用作后續(xù)編碼幀的參考。編碼和解碼中使用的環(huán)路濾波器需要在標(biāo)準(zhǔn)化過程中進(jìn)行指定。圖I示出H. 264/AVC編碼器的方塊圖。在圖中示出了用于編碼的輸入視頻幀F(xiàn)n，并且在宏塊單元中對(duì)該Fn進(jìn)行處理。通過運(yùn)動(dòng)估計(jì)模塊100將Fn與參考幀(例如先前的編碼幀F(xiàn)' n_i)進(jìn)行比較，然后通過運(yùn)動(dòng)補(bǔ)償單元200和幀內(nèi)預(yù)測單元300的常規(guī)處理生成運(yùn)動(dòng)補(bǔ)償預(yù)測P。將P從當(dāng)前宏塊中減去以產(chǎn)生殘差塊，該殘差塊由轉(zhuǎn)換單元400轉(zhuǎn)換，然后由量化單元500量化。量化的轉(zhuǎn)換系數(shù)是由熵編碼器600編碼的熵。單元700反量化后獲得量化的殘差系數(shù)。然后，系數(shù)由反轉(zhuǎn)換單元800反轉(zhuǎn)換，以產(chǎn)生量化的殘差塊。運(yùn)動(dòng)補(bǔ)償預(yù)測P被添加至量化的殘差塊來創(chuàng)建重構(gòu)快。環(huán)路濾波器900被用以減少阻斷失真的影響，然后根據(jù)一系列重構(gòu)塊創(chuàng)建重構(gòu)參考幀。一般而言，使用環(huán)路濾波器可獲得比使用后處理濾波器更好的性能。初期的環(huán)路濾波器使用基于增強(qiáng)的方式來減少編碼失真。初期的環(huán)路濾波器在塊邊界附近應(yīng)用低通濾波器。在本領(lǐng)域中，H.264/AVC標(biāo)準(zhǔn)建議并采用去塊環(huán)路濾波器(DLF)。去塊環(huán)路濾波器(DLF)通過執(zhí)行圍繞塊邊界的樣本分析來運(yùn)行，并調(diào)整每個(gè)塊邊界處的低通濾波器的濾波強(qiáng)度。然而，這些基于技術(shù)的增強(qiáng)不會(huì)導(dǎo)致顯著的主觀視覺質(zhì)量或客觀的峰值信噪比(PSNR)的改進(jìn)。還建議了基于修復(fù)的技術(shù)來優(yōu)化地抑制量化噪聲。優(yōu)化的線性維納濾波器(linear Wiener filter)是眾所周知的抑制噪聲的技術(shù)。線性維納濾波器被建議如后處理濾波器或環(huán)路濾波器那樣來減少視頻中的量化噪聲?？赏ㄟ^基于修復(fù)的技術(shù)來顯著地提高客觀質(zhì)量。維納濾波需要原始信號(hào)和噪聲的自相關(guān)及交叉相關(guān)的知識(shí)，所以濾波器系數(shù)需要以視頻編碼方案的比特流進(jìn)行傳遞。在解碼器側(cè)，從比特流提取濾波器系數(shù)來構(gòu)建優(yōu)化的維納濾波器。由于需要大量比特?cái)?shù)來表示濾波器系數(shù)，所以一個(gè)優(yōu)化的自適應(yīng)環(huán)路濾波器(ALF)僅用于一幀。ALF可整體地減少每幀的平均失真，但ALF不適合幀內(nèi)的不同局部區(qū)域。已開發(fā)出了慮及幀內(nèi)不同局部區(qū)域的多種自適應(yīng)方法。三維塊匹配(BM3D)方法使用維納濾波器閾值來對(duì)通過塊匹配來分組的3D離散余弦轉(zhuǎn)換(DCT)系數(shù)進(jìn)行修復(fù)，該方法還具有在圖像去噪上所獲得的優(yōu)越性能。在Jun Xu> Yunfei Zheng、Peng Yin、Joelsole、 Cristina Gomila 和 Dapeng Wu 的“Sparsity-based Deartifacting Filtering inVideo Compression(用于壓縮視頻的基于稀疏性的假像濾波)”，IEEE Int. Conf. ImageProcess (ICIP2009), Cairo, Egypt, Nov. 2009中示出的BM3D方法僅在編碼幀內(nèi)作為后處理工具有良好作用。已發(fā)現(xiàn)了使用BM3D方法作為用于編碼幀內(nèi)和編碼幀間的環(huán)路濾波器的有效方式。還建議了基于塊的自適應(yīng)方法。代表性的方法是基于四叉樹(quadtree)的自適應(yīng)環(huán)路濾波器，由 T. Chujoh> N. Wada 和 G. Yasuda 在 “Quadtree-based adaptive loopfilter (基于四叉樹的自適應(yīng)環(huán)路濾波器)”，ITU-TSG16 Contribution, C181, Geneva, Jan. 2009文獻(xiàn)進(jìn)行了描述，基于四叉樹的自適應(yīng)環(huán)路濾波器是關(guān)鍵技術(shù)區(qū)域(KTA)軟件中的編碼效率改進(jìn)工具之一?；谒牟鏄涞淖赃m應(yīng)環(huán)路濾波器(QALF)允許將塊過濾或不過濾，并使用四叉樹表示邊信息。KTA軟件中的另一工具提供了進(jìn)一步的改進(jìn)，該工具被稱為帶有去塊環(huán)路濾波器的基于四叉樹的自適應(yīng)環(huán)路濾波器(QALF+DLF)。該方案允許塊被ALF或DLF過濾。邊信息還可使用四叉樹來表示。該方案在目標(biāo)和視覺的質(zhì)量改進(jìn)上實(shí)現(xiàn)了現(xiàn)有技術(shù)的性能。然而，基于塊的方法不完全捕獲非均勻幀的局部統(tǒng)計(jì)。Non-Local Kuan (NLK)濾波器基于最小均方誤差(MMSE)修復(fù)來設(shè)計(jì)。這在以下文獻(xiàn)中進(jìn)行了描述Renqi Zhang、Wanli Ouyang和Wai-kuen Cham的“Image Postprocessingby Non-local Kuan，s Filter (Non-Local Kuan 濾波器進(jìn)行的圖像后處理)”, Journal ofVisual Communication and Image Representation,Elsevier。這些濾波器通過捕獲圖像中的局部自相似特性來工作?；贜LK的濾波器建議了兩種圖像后處理方法(即，DNLK和0⑶NLK濾波器的方法)。這兩種方法均使用雙層的濾波處理。0⑶NLK濾波器結(jié)合了過完備(overcomplete)轉(zhuǎn)換和DNLK濾波器的優(yōu)點(diǎn)。它們都在圖像后處理方面具有現(xiàn)有技術(shù)水準(zhǔn)的性能。

發(fā)明內(nèi)容
一方面，本申請公開了一種視頻環(huán)路濾波器，其包括參數(shù)估計(jì)單元，確定基于導(dǎo)頻幀的平均值系數(shù)和方差系數(shù)；濾波器單元，接收視頻編碼過程中的量化殘差系數(shù)，并根據(jù)所述量化殘差系數(shù)和所確定出的平均值與方差來修復(fù)系數(shù)；以及反整數(shù)余弦轉(zhuǎn)換(ICT)單元，對(duì)所修復(fù)的編碼系數(shù)執(zhí)行反整數(shù)余弦轉(zhuǎn)換以獲得過濾幀。另一方面，本申請公開了一種用于改進(jìn)視頻編碼性能的方法，其包括確定基于導(dǎo)頻幀的平均值系數(shù)和方差系數(shù)；在視頻編碼過程中檢索量化殘差系數(shù)；
根據(jù)所述量化殘差系數(shù)以及確定出的平均值和方差來修復(fù)系數(shù)；以及對(duì)所修復(fù)的編碼系數(shù)執(zhí)行反整數(shù)余弦轉(zhuǎn)換以獲得過濾幀。


圖I示出了現(xiàn)有技術(shù)中的H. 264/AVC編碼器；圖2示出了用于現(xiàn)有技術(shù)的圖像中塊的移塊表示；圖3示出了根據(jù)現(xiàn)有技術(shù)的DNLK濾波器的方塊圖； 圖4示出了根據(jù)本申請一個(gè)實(shí)施方式的NLK環(huán)路濾波器的方塊圖；圖5示出了獲得殘差塊的操作；圖6示出了四叉樹塊劃分示例；圖7示出了根據(jù)本申請一個(gè)實(shí)施方式的基于四叉樹的NLK(QNLK)濾波器的方塊圖；圖8示出了用于CIF序列Carphone的I、P、B編碼幀的基于四叉樹的塊劃分；圖9示出了用于編碼序列Foreman的R-D曲線；圖10示出了用于編碼序列Akiyo的R-D曲線；以及圖11和圖12分別示出了用于Carphone和Football序列的視覺質(zhì)量比較實(shí)驗(yàn)結(jié)果。
具體實(shí)施例方式下面參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行描述，但這些附圖僅用于說明目的而不是對(duì)本發(fā)明的限制。為了易于理解本中請的實(shí)施方式，下面首先對(duì)Non-Local Kuan(NLK)濾波器的原理進(jìn)行描述。設(shè)Bnun為幀內(nèi)第m塊的行和第n塊的列處的MXM塊，為相對(duì)于塊Bnun在水平方向具有k移位并在垂直方向具有I移位的塊。圖2分別給出當(dāng)k =-I，I = -1和1^=1，1 = 0時(shí)的兩個(gè)示例。基于塊的轉(zhuǎn)換應(yīng)用在每個(gè)移位塊上。因此，對(duì)于Bm, 中每個(gè)量化系數(shù)yQ，其相鄰系數(shù)yi，i = 1，2，...，k可從移位塊中獲得。考慮噪聲模型y = x+n,其中向量n表示噪聲，向量y包含量化系數(shù)Ytl和來自移位塊的相鄰系數(shù)yi i = 1,2, . . . , K,向量X包含對(duì)應(yīng)的原始系數(shù)X0和Xi, i = 1,2, , K。根據(jù)線性最小均方誤差(LMMSE)估計(jì)，可以獲得kLMMSE = (i0, ,..., )r = E[x] + CxyC~； (y - ￡[x]),(I)其中，E[x]是x的預(yù)期值，Cxy是x與y之間的交叉協(xié)方差，是信號(hào)y的反自協(xié)方差。根據(jù)現(xiàn)有的假設(shè)，即原始系數(shù)X與量化噪聲n不相關(guān)的情況下，LMMSE濾波器成為點(diǎn)式(point-wise)NLK 濾波器X0 =X0+ 2 2 (y0~x0)(2)
f7X0 + ^n0因此，濾波器不是對(duì)的每個(gè)元素進(jìn)行計(jì)算，而是僅對(duì)A進(jìn)行計(jì)算，元是量化系數(shù)I0的LMMSE估計(jì)。均勻分布的量化噪聲模型被多種方法廣泛使用，所以量化系數(shù)J0的噪聲方差可從如下所示的具體量化步驟Qtl中確定
權(quán)利要求
1.一種視頻環(huán)路濾波器，包括 參數(shù)估計(jì)單元，確定基于導(dǎo)頻幀的平均值系數(shù)和方差系數(shù)； 濾波器單元，接收視頻編碼過程中的量化殘差系數(shù)，并根據(jù)所述量化殘差系數(shù)和所確定出的平均值系數(shù)與方差系數(shù)來修復(fù)編碼系數(shù)；以及 反整數(shù)余弦轉(zhuǎn)換(ICT)單元，對(duì)所修復(fù)的編碼系數(shù)執(zhí)行反整數(shù)余弦轉(zhuǎn)換以獲得過濾幀。
2.根據(jù)權(quán)利要求I所述的濾波器，其中，所述濾波器單元包括NLK濾波器單元或OCNLK濾波器單元。
3.根據(jù)權(quán)利要求I所述的濾波器，其中，所述導(dǎo)頻幀為使用QALF+DLF環(huán)路濾波器獲得的編碼幀。
4.根據(jù)權(quán)利要求I所述的濾波器，其中，所述濾波器單元通過所述量化殘差系數(shù)和原始系數(shù)的線性最小均方誤差確定所修復(fù)的編碼系數(shù)。
5.根據(jù)權(quán)利要求I所述的濾波器，其中，所述濾波器單元通過 ^ _C2x^0 = xO-1 76 — xO). 確定所修復(fù)的編碼系數(shù)，其中七表示所修復(fù)的編碼系數(shù)；以及 ^和^丨分別表示所確定的平均值系數(shù)和方差系數(shù)，y0表示所述量化殘差系數(shù)。
6.根據(jù)權(quán)利要求I所述的濾波器，還包括 信息率失真優(yōu)化單元，根據(jù)所述過濾幀中的塊和所述導(dǎo)頻幀中的塊確定四叉樹塊劃分指示；以及 自適應(yīng)塊選擇單元，根據(jù)所述四叉樹塊劃分指示從所述過濾幀中的塊和所述導(dǎo)頻幀中的塊中選擇最終塊，所述最終塊用于形成所述過濾幀。
7.根據(jù)權(quán)利要求6所述的濾波器，其中，所述信息率失真優(yōu)化單元通過將(D+XR)最小化來確定所述四叉樹塊劃分指示Im,n， 其中 D表示經(jīng)處理的幀與原始幀之間的失真， R表示用于塊控制邊信息的比特，以及 入為用于D和R的拉格朗日縮放因子。
8.一種用于改進(jìn)視頻編碼性能的方法，包括 確定基于導(dǎo)頻幀的平均值系數(shù)和方差系數(shù)； 在視頻編碼過程中檢索量化殘差系數(shù)； 根據(jù)所述量化殘差系數(shù)以及確定出的平均值系數(shù)和方差系數(shù)來修復(fù)編碼系數(shù)；以及 對(duì)所修復(fù)的編碼系數(shù)執(zhí)行反整數(shù)余弦轉(zhuǎn)換以獲得過濾幀。
9.根據(jù)權(quán)利要求8所述的方法，其中，所述導(dǎo)頻幀為使用QALF+DLF環(huán)路濾波器獲得的編碼中貞。
10.根據(jù)權(quán)利要求8所述的方法，其中，所述修復(fù)的步驟還包括 通過所述量化殘差系數(shù)和原始系數(shù)的線性最小均方誤差確定所修復(fù)的編碼系數(shù)。
11.根據(jù)權(quán)利要求8所述的方法，其中，所修復(fù)的編碼系數(shù)通過以下計(jì)算來確定
12.根據(jù)權(quán)利要求8所述的方法，還包括 基于信息率失真優(yōu)化從所述過濾幀中的塊和所述導(dǎo)頻幀中的塊確定四叉樹塊劃分指示；以及 根據(jù)所述四叉樹塊劃分指示選擇最終塊，所述最終塊用于形成所述過濾幀。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述四叉樹塊劃分指示通過將(D+XR)最小化來確定， 其中 D表示經(jīng)處理的幀與原始幀之間的失真， R表示用于塊控制邊信息的比特，以及 入為用于D和R的拉格朗日縮放因子。
14.視頻環(huán)路濾波器，包括 參數(shù)估計(jì)單元，確定基于導(dǎo)頻幀的平均值系數(shù)和方差系數(shù)； 濾波器單元，接收來自圖像編碼過程的量化殘差系數(shù)，并根據(jù)所述量化殘差系數(shù)和所確定出的平均值系數(shù)與方差系數(shù)來修復(fù)編碼系數(shù)；以及 反整數(shù)余弦轉(zhuǎn)換(ICT)單元，對(duì)所修復(fù)的編碼系數(shù)執(zhí)行反整數(shù)余弦轉(zhuǎn)換以獲得過濾幀； 信息率失真優(yōu)化單元，基于所述過濾幀中的塊和所述導(dǎo)頻幀中的塊來確定四叉樹塊劃分指示；以及 自適應(yīng)塊選擇單元，根據(jù)所述四叉樹塊劃分指示從所述過濾幀中的塊和所述導(dǎo)頻幀中的塊中選擇最終塊，所述最終塊用于形成所述過濾幀。
15.根據(jù)權(quán)利要求14所述的濾波器，其中，所述濾波器單元包括NLK濾波器單元或OCNLK濾波器單元。
16.根據(jù)權(quán)利要求14所述的濾波器，其中，所述濾波器單元通過所述量化殘差系數(shù)和原始系數(shù)的線性最小均方誤差確定所修復(fù)的編碼系數(shù)。
17.根據(jù)權(quán)利要求14所述的濾波器，其中，所述濾波器單元通過
18.根據(jù)權(quán)利要求14所述的濾波器，其中，所述信息率失真優(yōu)化單元通過將(D+XR)最小化來確定所述四叉樹塊劃分指示Im，n， 其中 D表示經(jīng)處理的幀與原始幀之間的失真， R表示用于塊控制邊信息的比特，以及入為用于D和R的拉格朗日 縮放因子。
全文摘要
公開了用于改進(jìn)客觀及主觀視頻編碼性能的濾波器和方法。濾波器包括參數(shù)估計(jì)單元，確定基于導(dǎo)頻幀的平均值系數(shù)和方差系數(shù)；濾波器單元，接收視頻編碼過程中的量化殘差系數(shù)，根據(jù)所述量化殘差系數(shù)和所確定出的平均值與方差來修復(fù)編碼系數(shù)；反整數(shù)余弦轉(zhuǎn)換(ICT)單元，將所述反整數(shù)余弦轉(zhuǎn)換應(yīng)用于所修復(fù)的編碼系數(shù)以獲得過濾幀；信息率失真優(yōu)化單元，確定四叉樹塊劃分指示；以及自適應(yīng)塊選擇單元，根據(jù)四叉樹塊劃分指示選擇最終塊，最終塊用于形成過濾幀。
文檔編號(hào)H04N7/50GK102710936SQ201110461250
公開日2012年10月3日 申請日期2011年12月30日 優(yōu)先權(quán)日2011年1月4日
發(fā)明者張任奇, 湛偉權(quán) 申請人:香港中文大學(xué)