本發(fā)明涉及多媒體視頻編碼技術(shù)領(lǐng)域,特別是涉及一種快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置及方法。
背景技術(shù):
hevc是目前最新的視頻壓縮標(biāo)準(zhǔn),該標(biāo)準(zhǔn)將每幀圖像劃分成若干個(gè)編碼單元依次進(jìn)行編碼,識(shí)別和利用每一幀中的空間冗余,通過(guò)空間預(yù)測(cè)技術(shù)對(duì)像素塊進(jìn)行空域編碼,利用連續(xù)幀像素塊之間存在的時(shí)間聯(lián)系,通過(guò)運(yùn)動(dòng)估計(jì)me(motionestimate)和運(yùn)動(dòng)補(bǔ)償mc(motioncompensation)來(lái)實(shí)現(xiàn)時(shí)域編碼,識(shí)別和利用每一幀中剩余的空間冗余,通過(guò)量化、變換和熵編碼對(duì)原始像素塊與預(yù)測(cè)像素塊之間的變化進(jìn)行編碼,編碼器的整個(gè)過(guò)程也具有部分降噪的功能。但是對(duì)于染有較多噪聲的視頻,hevc編碼器的效率就很低。為了用有限的資源來(lái)提升編碼器對(duì)于噪聲視頻的處理質(zhì)量,嵌入編碼單元的降噪處理成為一種必需的技術(shù)。
對(duì)于一幀圖像,要有效的降低其噪聲,首先需要準(zhǔn)確地找到噪聲的方差,由于先前嵌入編碼系統(tǒng)的降噪算法不是假設(shè)噪聲方差,就是花費(fèi)大量的運(yùn)算和存儲(chǔ)來(lái)進(jìn)行估算,因此對(duì)于soc這類(lèi)資源、功耗等受限制的運(yùn)行環(huán)境來(lái)說(shuō),對(duì)算法的復(fù)雜度、運(yùn)算量、低延時(shí)性都有較高的要求,需要更加高效的計(jì)算方法。
技術(shù)實(shí)現(xiàn)要素:
鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn),本發(fā)明的目的在于提供一種快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置及方法,用于解決現(xiàn)有技術(shù)中嵌入hevc編碼單元的視頻降噪方法的算法復(fù)雜、運(yùn)算量較大的問(wèn)題。
為實(shí)現(xiàn)上述目的及其他相關(guān)目的,本發(fā)明提供一種快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置,包括:幀級(jí)噪聲方差估計(jì)模塊,用于根據(jù)前一幀圖像各編碼單元的復(fù)雜度信息得到當(dāng)前幀圖像噪聲閾值,根據(jù)當(dāng)前幀圖像的復(fù)雜度信息,自適應(yīng)地調(diào)整當(dāng)前幀圖像的幀級(jí)噪聲方差;幀級(jí)濾波系數(shù)計(jì)算模塊,用于根據(jù)得到的當(dāng)前幀圖像的幀級(jí)噪聲方差,確定當(dāng)前幀圖像各變換單元的濾波系數(shù);變換單元濾波系數(shù)確定模塊,用于根據(jù)當(dāng)前幀的噪聲方差和當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差值得到當(dāng)前變換單元的濾波權(quán)重,再根據(jù)幀級(jí)變換單元的濾波系數(shù),得到當(dāng)前變換單元的濾波系數(shù)。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置的一種優(yōu)選方案,所述幀 級(jí)噪聲方差估計(jì)模塊中,當(dāng)前幀圖像的復(fù)雜度信息從運(yùn)動(dòng)估計(jì)模塊的最優(yōu)結(jié)果里獲得。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置的一種優(yōu)選方案,所述幀級(jí)噪聲方差估計(jì)模塊中,統(tǒng)計(jì)出當(dāng)前幀圖像中小于當(dāng)前幀圖像噪聲方差閾值tσ2的編碼單元的噪聲sumσ2以及編碼單元的數(shù)目numcu,具有噪聲的編碼單元的平均復(fù)雜度即為當(dāng)前幀的噪聲方差σ2,其由以下公式給出:當(dāng)complexcu[i]<tσ2,sumσ2=sumσ2+complexcu[i];numcu=numcu+1;σ2=div(sumσ2,numcu),其中,complexcu[i]為當(dāng)前幀圖像的編碼單位的復(fù)雜度。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置的一種優(yōu)選方案,所述幀級(jí)噪聲方差估計(jì)模塊中,建立幀級(jí)噪聲方差平滑數(shù)組arrays[smoth_num],通過(guò)連續(xù)smoth_num幀圖像的噪聲方差的線性濾波來(lái)自適應(yīng)地估算當(dāng)前幀圖像的幀級(jí)噪聲方差。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置的一種優(yōu)選方案,所述變換單元濾波系數(shù)確定模塊中,當(dāng)前變換單元對(duì)應(yīng)的權(quán)重值w與該變換單元的運(yùn)動(dòng)補(bǔ)償殘差的最小值madmin和前幀圖像的噪聲σ2成比例關(guān)系,其中,madmin/σ2的區(qū)間范圍為(tl,th),w的最小值記為wl,w和madmin/σ2的線性關(guān)系由以下公式給出:
w=((1-wl)/(th-tl))madmin/σ2+(1-th(1-wl)/(th-tl))
其中,tl,th,wl根據(jù)編碼器中噪聲的特性經(jīng)驗(yàn)值、編碼器本身的特性以及濾波權(quán)重對(duì)于編碼器的影響分析獲得。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置的一種優(yōu)選方案,所述變換單元濾波系數(shù)確定模塊中,濾波權(quán)重與當(dāng)前幀的噪聲方差和當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差值成比例關(guān)系。
本發(fā)明還提供一種快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的方法,包括步驟:步驟1),根據(jù)前一幀圖像各編碼單元的復(fù)雜度信息得到當(dāng)前幀圖像噪聲閾值,根據(jù)當(dāng)前幀圖像的復(fù)雜度信息,自適應(yīng)地調(diào)整當(dāng)前幀圖像的幀級(jí)噪聲方差;步驟2),根據(jù)得到的當(dāng)前幀圖像的幀級(jí)噪聲方差,確定當(dāng)前幀圖像各變換單元的濾波系數(shù);步驟3),根據(jù)當(dāng)前幀的噪聲方差和當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差值得到當(dāng)前變換單元的濾波權(quán)重,再根據(jù)幀級(jí)變換單元的濾波系數(shù),得到當(dāng)前變換單元的濾波系數(shù)。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的方法的一種優(yōu)選方案,步驟1)包括:步驟1-1),根據(jù)系統(tǒng)性能及前一幀圖像各編碼單元的復(fù)雜度信息,得到當(dāng)前幀圖像噪聲方差閾值tσ2;步驟1-2),計(jì)算當(dāng)前幀圖像的編碼單位的復(fù)雜度complexcu[i],該復(fù)雜度為從運(yùn)動(dòng)估計(jì)模塊的最優(yōu)結(jié)果里獲得;步驟1-3),統(tǒng)計(jì)出當(dāng)前幀圖像中小于該 閾值tσ2的編碼單元的噪聲sumσ2以及編碼單元的數(shù)目numcu,具有噪聲的編碼單元的平均復(fù)雜度即為當(dāng)前幀的噪聲方差σ2,其由以下公式給出:當(dāng)complexcu[i]<tσ2,sumσ2=sumσ2+complexcu[i];numcu=numcu+1;σ2=div(sumσ2,numcu);步驟1-4),建立幀級(jí)噪聲方差σ2平滑數(shù)組arrays[smoth_num],通過(guò)連續(xù)smoth_num幀圖像的噪聲方差σ2的線性濾波來(lái)自適應(yīng)地估算當(dāng)前幀圖像的噪聲方差σ2。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的方法的一種優(yōu)選方案,步驟2)中,根據(jù)當(dāng)前幀圖像的噪聲σ2以及各個(gè)變換單元的典型濾波系數(shù),獲得當(dāng)前幀圖像的各個(gè)變換單元濾波系數(shù)coefmxm[i,j]。
作為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的方法的一種優(yōu)選方案,步驟3)包括:步驟3-1),計(jì)算出當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差的最小值madmin,該最小值madmin為從編碼器的運(yùn)動(dòng)估計(jì)模塊直接獲得;步驟3-2),計(jì)算出當(dāng)前變換單元對(duì)應(yīng)的權(quán)重值w,其與該變換單元的運(yùn)動(dòng)補(bǔ)償殘差的最小值madmin和前幀圖像的噪聲σ2成比例關(guān)系,其中,madmin/σ2的區(qū)間范圍為合理的區(qū)間(tl,th),w的最小值記為wl,w和madmin/σ2的線性關(guān)系由以下公式給出:w=((1-wl)/(th-tl))madmin/σ2+(1-th(1-wl)/(th-tl))其中,tl,th,wl根據(jù)編碼器中噪聲的特性經(jīng)驗(yàn)值、編碼器本身的特性以及濾波權(quán)重對(duì)于編碼器的影響分析獲得;步驟3-3),根據(jù)當(dāng)前幀圖像的濾波系數(shù)coefmxm[i,j],和當(dāng)前變換單元的的濾波權(quán)重值w,獲得當(dāng)前編碼單元的濾波系數(shù)。
如上所述,本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置及方法,具有以下有益效果:本發(fā)明根據(jù)前一幀圖像中各編碼單元的復(fù)雜度分布情況可確定當(dāng)前幀圖像噪聲方差閾值,通過(guò)前幀圖像噪聲方差閾值估算出當(dāng)前幀圖像的噪聲方差,根據(jù)當(dāng)前幀圖像的噪聲方差,計(jì)算出當(dāng)前幀圖像的各種變換單元的濾波系數(shù),根據(jù)當(dāng)前幀圖像的噪聲方差,計(jì)算出當(dāng)前變換單元的濾波權(quán)重,最后計(jì)算出當(dāng)前變換單元的濾波系數(shù)。視頻降噪的效果主要是由該模塊的濾波系數(shù)確定的。通過(guò)本發(fā)明所提供的裝置及方法,可在資源受限的系統(tǒng)上,實(shí)現(xiàn)低復(fù)雜度、低運(yùn)算量、低延時(shí)的視頻降噪,從而提升視頻編碼的主客觀質(zhì)量。本發(fā)明方法及裝置簡(jiǎn)單,在多媒體視頻編碼技術(shù)領(lǐng)域具有廣泛的應(yīng)用前景。
附圖說(shuō)明
圖1顯示為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置的結(jié)構(gòu)示意圖。
圖2顯示為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的方法的流程示意圖。
圖3顯示為本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置及方法中,w和madmin/σ2具體的線性關(guān)系圖。
元件標(biāo)號(hào)說(shuō)明
101幀級(jí)噪聲方差估計(jì)模塊
102幀級(jí)濾波系數(shù)計(jì)算模塊
103變換單元濾波系數(shù)確定模塊
s11~s19步驟101)~步驟304)
具體實(shí)施方式
以下通過(guò)特定的具體實(shí)例說(shuō)明本發(fā)明的實(shí)施方式,本領(lǐng)域技術(shù)人員可由本說(shuō)明書(shū)所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)與功效。本發(fā)明還可以通過(guò)另外不同的具體實(shí)施方式加以實(shí)施或應(yīng)用,本說(shuō)明書(shū)中的各項(xiàng)細(xì)節(jié)也可以基于不同觀點(diǎn)與應(yīng)用,在沒(méi)有背離本發(fā)明的精神下進(jìn)行各種修飾或改變。
請(qǐng)參閱圖1~圖3。需要說(shuō)明的是,本實(shí)施例中所提供的圖示僅以示意方式說(shuō)明本發(fā)明的基本構(gòu)想,遂圖示中僅顯示與本發(fā)明中有關(guān)的組件而非按照實(shí)際實(shí)施時(shí)的組件數(shù)目、形狀及尺寸繪制,其實(shí)際實(shí)施時(shí)各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變,且其組件布局型態(tài)也可能更為復(fù)雜。
如圖1及圖3所示,本實(shí)施例提供一種快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置,所述裝置包括:
幀級(jí)噪聲方差估計(jì)模塊101,用于根據(jù)前一幀圖像各編碼單元的復(fù)雜度信息得到當(dāng)前幀圖像噪聲閾值,根據(jù)當(dāng)前幀圖像的復(fù)雜度信息,自適應(yīng)地調(diào)整當(dāng)前幀圖像的幀級(jí)噪聲方差;
幀級(jí)濾波系數(shù)計(jì)算模塊102,用于根據(jù)得到的當(dāng)前幀圖像的幀級(jí)噪聲方差,確定當(dāng)前幀圖像各變換單元的濾波系數(shù);
變換單元濾波系數(shù)確定模塊103,用于根據(jù)當(dāng)前幀的噪聲方差和當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差值得到當(dāng)前變換單元的濾波權(quán)重,再根據(jù)幀級(jí)變換單元的濾波系數(shù),得到當(dāng)前變換單元的濾波系數(shù)。
作為示例,所述幀級(jí)噪聲方差估計(jì)模塊101中,當(dāng)前幀圖像的復(fù)雜度信息從運(yùn)動(dòng)估計(jì)模塊的最優(yōu)結(jié)果里獲得。
作為示例,所述幀級(jí)噪聲方差估計(jì)模塊101中,統(tǒng)計(jì)出當(dāng)前幀圖像中小于當(dāng)前幀圖像噪聲方差閾值tσ2的編碼單元的噪聲sumσ2以及編碼單元的數(shù)目numcu,具有噪聲的編碼單元的平均復(fù)雜度即為當(dāng)前幀的噪聲方差σ2,其由以下公式給出:當(dāng)complexcu[i]<tσ2,sumσ2=sumσ2+complexcu[i];numcu=numcu+1;σ2=div(sumσ2,numcu),其中, complexcu[i]為當(dāng)前幀圖像的編碼單位的復(fù)雜度。
作為示例,所述幀級(jí)噪聲方差估計(jì)模塊101中,建立幀級(jí)噪聲方差平滑數(shù)組arrays[smoth_num],通過(guò)連續(xù)smoth_num幀圖像的噪聲方差的線性濾波來(lái)自適應(yīng)地估算當(dāng)前幀圖像的幀級(jí)噪聲方差。
作為示例,所述變換單元濾波系數(shù)確定模塊103中,當(dāng)前變換單元對(duì)應(yīng)的權(quán)重值w與該變換單元的運(yùn)動(dòng)補(bǔ)償殘差的最小值madmin和前幀圖像的噪聲σ2成比例關(guān)系,其中,madmin/σ2的區(qū)間范圍為(tl,th),w的最小值記為wl,w和madmin/σ2的線性關(guān)系由以下公式給出:
w=((1-wl)/(th-tl))madmin/σ2+(1-th(1-wl)/(th-tl))
其中,tl,th,wl根據(jù)編碼器中噪聲的特性經(jīng)驗(yàn)值、編碼器本身的特性以及濾波權(quán)重對(duì)于編碼器的影響分析獲得,w和madmin/σ2具體的線性關(guān)系如圖3所示。
作為示例,所述變換單元濾波系數(shù)確定模塊103中,濾波權(quán)重與當(dāng)前幀的噪聲方差和當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差值成比例關(guān)系。
如圖2~圖3所示,本實(shí)施例還提供一種快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的方法,所述方法包括步驟:步驟1),根據(jù)前一幀圖像各編碼單元的復(fù)雜度信息得到當(dāng)前幀圖像噪聲閾值,根據(jù)當(dāng)前幀圖像的復(fù)雜度信息,自適應(yīng)地調(diào)整當(dāng)前幀圖像的幀級(jí)噪聲方差;步驟2),根據(jù)得到的當(dāng)前幀圖像的幀級(jí)噪聲方差,確定當(dāng)前幀圖像各變換單元的濾波系數(shù);步驟3),根據(jù)當(dāng)前幀的噪聲方差和當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差值得到當(dāng)前變換單元的濾波權(quán)重,再根據(jù)幀級(jí)變換單元的濾波系數(shù),得到當(dāng)前變換單元的濾波系數(shù)。
如圖2所示,具體地,本實(shí)施例的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的方法包括以下步驟:
步驟101)s11,根據(jù)系統(tǒng)性能及前一幀圖像各編碼單元的復(fù)雜度信息,得到當(dāng)前幀圖像噪聲方差閾值tσ2(所述噪聲方差閾值tσ2初始化為5);
步驟102)s12,計(jì)算當(dāng)前幀圖像的編碼單位的復(fù)雜度complexcu[i],該復(fù)雜度為從運(yùn)動(dòng)估計(jì)模塊的最優(yōu)結(jié)果里獲得;
步驟103)s13,統(tǒng)計(jì)出當(dāng)前幀圖像中小于該閾值tσ2的編碼單元的噪聲sumσ2以及編碼單元的數(shù)目numcu,具有噪聲的編碼單元的平均復(fù)雜度即為當(dāng)前幀的噪聲方差σ2,其由以下公式給出:當(dāng)complexcu[i]<tσ2,sumσ2=sumσ2+complexcu[i];numcu=numcu+1;σ2=div(sumσ2,numcu);
步驟104)s14,建立幀級(jí)噪聲方差σ2平滑數(shù)組arrays[smoth_num],通過(guò)連續(xù)smoth_num幀圖像的噪聲方差σ2的線性濾波來(lái)自適應(yīng)地估算當(dāng)前幀圖像的噪聲方差 σ2。
步驟201)s15,根據(jù)當(dāng)前幀圖像的噪聲σ2以及各個(gè)變換單元(4x4,8x8,16x16)的典型濾波系數(shù),獲得當(dāng)前幀圖像的各個(gè)變換單元濾波系數(shù)coefmxm[i,j]。
步驟301)s16,計(jì)算出當(dāng)前變換單元的運(yùn)動(dòng)補(bǔ)償殘差的最小值madmin(minimummeanofabsolutedifference),該最小值madmin為從編碼器的運(yùn)動(dòng)估計(jì)模塊直接獲得;
步驟302)s17,計(jì)算出當(dāng)前變換單元對(duì)應(yīng)的權(quán)重值w,其與該變換單元的運(yùn)動(dòng)補(bǔ)償殘差的最小值madmin和前幀圖像的噪聲σ2成比例關(guān)系,其中,madmin/σ2不能無(wú)限大,也不能無(wú)限小,madmin/σ2的區(qū)間范圍為合理的區(qū)間(tl,th),同時(shí)為了防止降噪對(duì)編碼器帶來(lái)負(fù)作用,w也不能無(wú)限小,w的最小值記為wl,w和madmin/σ2的線性關(guān)系由以下公式給出:w=((1-wl)/(th-tl))madmin/σ2+(1-th(1-wl)/(th-tl))其中,tl,th,wl根據(jù)編碼器中噪聲的特性經(jīng)驗(yàn)值、編碼器本身的特性以及濾波權(quán)重對(duì)于編碼器的影響分析獲得,w和madmin/σ2具體的線性關(guān)系如圖3所示;
步驟303)s18,根據(jù)當(dāng)前幀圖像的濾波系數(shù)coefmxm[i,j],和當(dāng)前變換單元的的濾波權(quán)重值w,獲得當(dāng)前編碼單元的濾波系數(shù)。
步驟304)s19,如果當(dāng)前處理的編碼單元不為當(dāng)前幀最后一個(gè)編碼單元,則重復(fù)步驟102)~步驟304)直至結(jié)束。
如上所述,本發(fā)明的快速實(shí)現(xiàn)嵌入hevc編碼單元的視頻降噪的裝置及方法,具有以下有益效果:本發(fā)明根據(jù)前一幀圖像中各編碼單元的復(fù)雜度分布情況可確定當(dāng)前幀圖像噪聲方差閾值,通過(guò)前幀圖像噪聲方差閾值估算出當(dāng)前幀圖像的噪聲方差,根據(jù)當(dāng)前幀圖像的噪聲方差,計(jì)算出當(dāng)前幀圖像的各種變換單元的濾波系數(shù),根據(jù)當(dāng)前幀圖像的噪聲方差,計(jì)算出當(dāng)前變換單元的濾波權(quán)重,最后計(jì)算出當(dāng)前變換單元的濾波系數(shù)。視頻降噪的效果主要是由該模塊的濾波系數(shù)確定的。通過(guò)本發(fā)明所提供的裝置及方法,可在資源受限的系統(tǒng)上,實(shí)現(xiàn)低復(fù)雜度、低運(yùn)算量、低延時(shí)的視頻降噪,從而提升視頻編碼的主客觀質(zhì)量。本發(fā)明方法及裝置簡(jiǎn)單,在多媒體視頻編碼技術(shù)領(lǐng)域具有廣泛的應(yīng)用前景。所以,本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價(jià)值。
上述實(shí)施例僅例示性說(shuō)明本發(fā)明的原理及其功效,而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下,對(duì)上述實(shí)施例進(jìn)行修飾或改變。因此,舉凡所屬技術(shù)領(lǐng)域中具有通常知識(shí)者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變,仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。