本發(fā)明涉及視頻編碼相關(guān)技術(shù)領(lǐng)域,尤其是指一種hdr視頻預(yù)處理方法。
背景技術(shù):
隨著視頻圖像技術(shù)的快速發(fā)展,人們對視頻觀看體驗的要求也越來越高。3d、4k、廣視角和hdr(highdynamicrange,高動態(tài)范圍)等關(guān)鍵詞已經(jīng)成為電視機市場的熱點。相比于傳統(tǒng)sdr(standarddynamicrange,標準動態(tài)范圍)電視機,hdr電視機能夠呈現(xiàn)出更廣的亮度和更多的顏色,更豐富地展現(xiàn)出視頻的真實內(nèi)容,對人眼極具震撼效果。
傳統(tǒng)的sdr視頻采用的色域標準是bt.709,該標準會出現(xiàn)高光溢出(高光部分細節(jié)丟失,以保證暗部曝光正常))或暗部裁切(暗部細節(jié)丟失,以保證高亮度場景曝光正常),而hdr中的色域標準st.2084則可以避免這一問題,它能夠表示更高的亮度動態(tài)范圍,高光的時候不會過曝,暗調(diào)的時候不會欠曝,讓亮處的效果更清晰,暗處依然能分辨物體的輪廓和深度。
hdr視頻從拍攝到呈現(xiàn)給觀眾主要經(jīng)過以下四個步驟:
(1)拍攝采集:用hdr攝像機拍攝采集成具有若干幀圖像的hdr視頻,這個步驟的有一個重要環(huán)節(jié)便是利用oetf(optical-electricaltransferfunction光信號轉(zhuǎn)電信號曲線)進行光電轉(zhuǎn)換,獲取視頻數(shù)據(jù);
(2)預(yù)處理:該階段可以對視頻數(shù)據(jù)進行去噪、調(diào)整尺寸等,而對hdr視頻則有一個重要的步驟,便是tonemapping(色度映射),利用eotf(electrical-opticaltransferfunction電信號轉(zhuǎn)光信號曲線)對視頻數(shù)據(jù)進行電光轉(zhuǎn)換,使輸出的信號能夠適配人眼的感知;
(3)編碼壓縮:對視頻數(shù)據(jù)進行編碼壓縮,生成壓縮視頻流,以節(jié)省數(shù)據(jù)帶寬;
(4)解碼觀看:用戶利用hdr顯示設(shè)備的解碼芯片將視頻流解碼成若干幀圖像,進行觀看。
在眾多eotf方案中,dolbyvision提出的感知量化(perceptualquantizer,pq)模型已經(jīng)成為smptest2084標準,其理論依據(jù)是人類視覺系統(tǒng)存在掩蔽效應(yīng),當某一個信號的失真不超過某一閾值時,不會被人眼所察覺,該閾值稱之為恰可察覺失真(justnoticeabledistortion,jnd)閾值。感知量化模型認為jnd閾值隨著亮度的變化呈一定的關(guān)系,低亮度區(qū)域該閾值較大,高亮度區(qū)域該閾值則較小。利用人眼視覺的這一特性,感知量化模型描述了輸入電信號和輸出光信號的關(guān)系曲線,該曲線是一個單調(diào)遞減且斜率減小的log曲線,隨著編碼亮度值(電信號)增大時,量化為顯示亮度值(光信號)的量化步長便越小,該曲線能夠使輸出最大顯示亮度達到10000尼特,而sdr可實現(xiàn)的最大亮度僅僅為100尼特,這樣,pq曲線能夠大大提升hdr的顯示亮度范圍,但是pq曲線只考慮了絕對亮度對感知冗余的影響,不考慮人眼視覺注意的區(qū)域,如果人眼視覺注意的區(qū)域一旦出現(xiàn)絕對亮度很小時,使用的量化步長也很大,使細節(jié)丟失較為嚴重。
視頻中每幀圖像通常用yuv數(shù)據(jù)格式表示,其中y表示亮度,u和v表示色度,人眼從yuv數(shù)據(jù)表示的圖像中可以較直觀地感受到該圖像所包含的自然特征,如亮度、色度、邊緣、紋理、方向等,顯著性檢測便是利用人眼感知特性對一幀圖像中的某些特征進行量化,使這些最易被人眼所注意的區(qū)域能夠更加直觀地表現(xiàn)出來。傳統(tǒng)顯著性檢測通常是基于圖像的r、g、b分量進行處理,而且復(fù)雜度較高,不適合高效的視頻實時處理,因此,如何進行快速的顯著性檢測是感知視頻編碼的一個必要手段。
現(xiàn)有pq模型只考慮了絕對亮度對感知冗余的影響,沒有考慮人眼視覺注意的區(qū)域,如果人眼視覺注意的區(qū)域一旦出現(xiàn)絕對亮度很小時,使用的量化步長也很大,使細節(jié)丟失較為嚴重。
技術(shù)實現(xiàn)要素:
本發(fā)明是為了克服現(xiàn)有技術(shù)中存在上述的不足,提供了一種圖像細節(jié)保留更為完整的hdr視頻預(yù)處理方法。
為了實現(xiàn)上述目的,本發(fā)明采用以下技術(shù)方案:
一種hdr視頻預(yù)處理方法,包括如下步驟:
步驟一:在yuv域,針對hdr的寬亮度和廣色域的視頻特性進行快速的顯著性檢測,使高亮的區(qū)域和顏色明顯的區(qū)域得到進一步區(qū)分;
步驟二:構(gòu)建顯著性-感知量化函數(shù),將顯著性特征與現(xiàn)有的感知量化模型進行融合,使視頻中較為顯著的區(qū)域在量化時的量化步長越小,圖像細節(jié)保留的更加豐富。
本發(fā)明通過對hdr視頻進行顯著性檢測,提取在yuv域中亮度和色域較為明顯的區(qū)域,構(gòu)建顯著性調(diào)整因子,并利用該因子與現(xiàn)有感知量化(pq)模型構(gòu)建顯著性-感知量化函數(shù),使得hdr視頻中亮度和顏色較為顯著的區(qū)域在量化時使用的量化步長更小,失真較小,圖像細節(jié)保留的更加完整,從而使整體的視頻質(zhì)量更加符合人眼感知特性。
作為優(yōu)選,在步驟一中,具體采用如下步驟:
(1)對亮度分量y提取亮度顯著值lsal(i):
lsal(i)=|y(i)-yavg|
其中:i表示當前幀中的第i個像素,y(i)表示當前幀中第i個像素的亮度值,yavg表示當前幀中所有像素的亮度平均值;
(2)對色度度分量u和v提取色度顯著值csal(i):
csal(i)=|u(i)-uavg|+|v(i)-vavg|
其中:u(i)表示當前幀中第i個像素的u分量值,v(i)表示當前幀中第i個像素的v分量值,uavg表示當前幀中所有像素的u分量平均值,vavg表示當前幀中所有像素的v分量平均值;
(3)將亮度顯著值lsal(i)和色度顯著值csal(i)進行融合:
tsal(i)=0.5*lsal(i)+0.5*csal(i)
(4)當tsal(i)小于規(guī)定閾值th時,判定為非顯著區(qū)域,設(shè)定其顯著值msal(i)為0;當tsal(i)大于等于規(guī)定閾值th時,判定為較顯著區(qū)域,其顯著值msal(i)為tsal(i):
其中閾值th的計算方式為:
其中:δ為范圍在[1,5]內(nèi)的常數(shù),
(5)將msal(i)歸一化,使msal(i)范圍放縮到[0,1]范圍內(nèi):
作為優(yōu)選,在步驟二中,具體采用如下步驟:
(a)利用顯著值構(gòu)建顯著性調(diào)整因子,當顯著值越大時,該調(diào)整因子越小,當顯著值越小時,該調(diào)整因子越大:
其中:α為范圍在[0,1]內(nèi)的常數(shù),β為范圍在[1,1.5]內(nèi)的常數(shù);
(b)現(xiàn)有感知量化模型所描述的編碼亮度到顯示亮度的log曲線:
其中,l(i)是第i個像素的顯示亮度值,v(i)是第i個像素的編碼亮度值,c1、c2、c3的值分別為0.835、18.851、18.687,m和n的值分別為78.843和0.159;
(c)構(gòu)建顯著性-感知量化模型,使視覺越顯著的區(qū)域在量化為l′(i)時的量化步長越小:
本發(fā)明的有益效果是:使得hdr視頻中亮度和顏色較為顯著的區(qū)域在量化時使用的量化步長更小,失真較小,主觀質(zhì)量更好,圖像細節(jié)保留的更加完整,從而使整體的視頻質(zhì)量更加符合人眼感知特性。
具體實施方式
下面結(jié)合具體實施方式對本發(fā)明做進一步的描述。
一種hdr視頻預(yù)處理方法,包括如下步驟:
步驟一:在yuv域,針對hdr的寬亮度和廣色域的視頻特性進行快速的顯著性檢測,使高亮的區(qū)域和顏色明顯的區(qū)域得到進一步區(qū)分;
具體采用如下步驟:
(1)對亮度分量y提取亮度顯著值lsal(i):
lsal(i)=|y(i)-yavg|
其中:i表示當前幀中的第i個像素,y(i)表示當前幀中第i個像素的亮度值,yavg表示當前幀中所有像素的亮度平均值;
(2)對色度度分量u和v提取色度顯著值csal(i):
csal(i)=|u(i)-uaug|+|v(i)-vavg|
其中:u(i)表示當前幀中第i個像素的u分量值,v(i)表示當前幀中第i個像素的v分量值,uavg表示當前幀中所有像素的u分量平均值,vavg表示當前幀中所有像素的v分量平均值;
(3)將亮度顯著值lsal(i)和色度顯著值csal(i)進行融合:
tsal(i)=0.5*lsal(i)+0.5*csal(i)
(4)當tsal(i)小于規(guī)定閾值th時,判定為非顯著區(qū)域,設(shè)定其顯著值msal(i)為0;當tsal(i)大于規(guī)定閾值th時,判定為較顯著區(qū)域,其顯著值msal(i)為tsal(i):
其中閾值th的計算方式為:
其中:δ為范圍在[1,5]內(nèi)的常數(shù),
(5)將msal(i)歸一化,使msal(i)范圍放縮到[0,1]范圍內(nèi):
步驟二:構(gòu)建顯著性-感知量化函數(shù),將顯著性特征與現(xiàn)有的感知量化模型進行融合,使視頻中較為顯著的區(qū)域在量化時的量化步長越小,圖像細節(jié)保留的更加豐富;
具體采用如下步驟:
(a)利用顯著值構(gòu)建顯著性調(diào)整因子,當顯著值越大時,該調(diào)整因子越小,當顯著值越小時,該調(diào)整因子越大:
其中:α為范圍在[0,1]內(nèi)的常數(shù),β為范圍在[1,1.5]內(nèi)的常數(shù);
(b)現(xiàn)有感知量化模型所描述的編碼亮度到顯示亮度的log曲線:
其中,l(i)是第i個像素的顯示亮度值,v(i)是第i個像素的編碼亮度值,c1、c2、c3的值分別為0.835、18.851、18.687,m和n的值分別為78.843和0.159;
(c)構(gòu)建顯著性-感知量化模型,使視覺越顯著的區(qū)域在量化為l′(i)時的量化步長越小:
本發(fā)明通過對hdr視頻進行顯著性檢測,提取在yuv域中亮度和色域較為明顯的區(qū)域,構(gòu)建顯著性調(diào)整因子,并利用該因子與現(xiàn)有感知量化(pq)模型構(gòu)建顯著性-感知量化函數(shù),使得hdr視頻中亮度和顏色較為顯著的區(qū)域在量化時使用的量化步長更小,失真較小,主觀質(zhì)量更好,圖像細節(jié)保留的更加完整,從而使整體的視頻質(zhì)量更加符合人眼感知特性。