基于jnd因子的超像素高斯濾波預(yù)處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻預(yù)處理領(lǐng)域，特別是涉及到基于JND因子的超像素高斯濾波預(yù)處 理方法。 技術(shù)背景
[0002] 隨著信息技術(shù)的發(fā)展，尤其是高清視頻和移動互聯(lián)網(wǎng)的發(fā)展，多媒體視頻的數(shù)量 以及需求呈現(xiàn)快速的膨脹。新一代視頻編碼標(biāo)準(zhǔn)HEVC的發(fā)展較上一代的標(biāo)準(zhǔn)已經(jīng)降低了 50%的碼率，發(fā)展下一代新的視頻編碼標(biāo)準(zhǔn)并帶到實(shí)際的應(yīng)用中仍然需要較長的發(fā)展時間， 而通過結(jié)合視頻預(yù)處理的技術(shù)，可以明顯地提升視頻編碼的效率和提升其主觀質(zhì)量。
[0003] 視頻預(yù)處理技術(shù)是在視頻進(jìn)行編碼前，對其進(jìn)行的一系列處理操作，主要目的是 為了降低碼率和提升質(zhì)量。經(jīng)過多年的研宄發(fā)展，視頻預(yù)處理技術(shù)主要包括傳統(tǒng)的濾波、插 值和去隔行等方法?；诟信d趣區(qū)域的編碼和JND相結(jié)合的預(yù)處理方法都可以有效地提升 視頻編碼的質(zhì)量和效率。
[0004] 在常見的濾波操作中，可以濾除引入的噪聲，同時也可以去除視覺冗余信息。然而 整幅圖像中人眼對各個區(qū)域的敏感程度不同，每個區(qū)域的平滑度和紋理復(fù)雜度也不相同， 在常用的濾波操作中，雖然可以明顯地降低碼率，但是也會帶來嚴(yán)重的主觀質(zhì)量的下降。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題是，提供一種基于JND因子的超像素高斯濾波預(yù)處理 方法，以便能帶來明顯的碼率的下降而不引起主觀質(zhì)量的損失。
[0006] 為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：一種基于JND因子的超像素高 斯濾波預(yù)處理方法，其包括如下步驟： 步驟一、讀入視頻圖像數(shù)據(jù)：逐幀讀入視頻圖像數(shù)據(jù)進(jìn)行處理； 步驟二、超像素劃分：基于SLIC超像素方法將該圖像分割成為預(yù)定大小且由相似像素 組成的超像素，使得每個超像素內(nèi)的各像素具有相似的平滑度和紋理區(qū)域； 步驟三、JND因子計(jì)算：計(jì)算超像素內(nèi)每個像素點(diǎn)的基于視覺信息的JND因子并獲得其 平均值，并得出該平均值與圖像紋理和平滑度的關(guān)聯(lián)，所計(jì)算的JND因子為加權(quán)亮度平均 差； 步驟四、超像素的自適應(yīng)高斯濾波：根據(jù)超像素內(nèi)JND因子的平均值確定該超像素的 高斯濾波參數(shù)，再采用所述高斯濾波參數(shù)對對應(yīng)的超像素進(jìn)行高斯濾波操作，即獲得預(yù)處 理后的視頻幀。
[0007] 進(jìn)一步地，步驟三中，所述JND因子的計(jì)算公式為：
而訴（〖,/)為濾波器，/(X..V)表示(+Y,V)位置的像素值。
[0008] 進(jìn)一步地，步驟四中，根據(jù)超像素內(nèi)JND因子的平均值并采用如下階梯函數(shù)公式 確定該超像素的高斯濾波參數(shù)：
其中，5；表示該超像素區(qū)域內(nèi)的像素的JND因子的平均值，Treshold1(we，和 TresholduppOT為設(shè)定的該平均值的兩個閾值，而b和c為該梯度函數(shù)的常量參數(shù)。
[0009] 進(jìn)一步地，步驟四中，超像素的邊界區(qū)域綜合所屬超像素的系數(shù)的平均和。
[0010] 通過采用上述技術(shù)方案，本發(fā)明具有以下技術(shù)效果：本發(fā)明通過將圖像分割為相 似像素組成的超像素，由于每個超像素內(nèi)的像素具有相似的平滑度和紋理區(qū)域，因此進(jìn)行 濾波操作時，以超像素為單位，即超像素內(nèi)的所有像素享有相同的濾波強(qiáng)度；并基于視覺的 JND因子與圖像平滑度關(guān)聯(lián)，確定超像素高斯濾波參數(shù)進(jìn)行濾波處理，而且本發(fā)明將超像素 內(nèi)的JND因子的平均值與高斯濾波方差關(guān)聯(lián)起來，量化決定超像素進(jìn)行高斯濾波操作的方 差，該方差隨著超像素的紋理和平滑度能自適應(yīng)變化。從而，本發(fā)明最終可以通過結(jié)合人眼 對圖像區(qū)域的敏感程度對視頻進(jìn)行自適應(yīng)的濾波操作，可以帶來明顯的碼率的下降而不引 起主觀質(zhì)量的損失，在碼率上，相同參數(shù)下獲得了平均9. 3%、最高29%的碼率下降，并且主 觀質(zhì)量無明顯下降。
【附圖說明】
[0011] 圖1是本發(fā)明基于JND因子的超像素高斯濾波預(yù)處理方法的框架圖。
[0012] 圖2是本發(fā)明一實(shí)施例中將視頻幀劃分為平均大小為16x16的超像素的示意圖。
[0013] 圖3是本發(fā)明計(jì)算加權(quán)亮度平均值的濾波器示意圖。
[0014] 圖4是本發(fā)明基于加權(quán)亮度平均值的重建圖。
[0015] 圖5是本發(fā)明加權(quán)亮度平均值重建圖三個選取區(qū)域值。
[0016] 圖6是本發(fā)明lena圖像以及三個區(qū)域的高斯濾波對比。
[0017] 圖7是本發(fā)明預(yù)處理后的圖像主觀質(zhì)量與原始圖像。
【具體實(shí)施方式】
[0018] 需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相 互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)說明。
[0019] 所述預(yù)處理方法的實(shí)施是基于一個基于JND因子的超像素高斯濾波預(yù)處理系統(tǒng)， 而該系統(tǒng)包含三個主要模塊：一個基于SLIC超像素（Superpixel)的圖像分割模塊，一個基 于視覺的JDN因子計(jì)算模塊，一個基于JND因子的適應(yīng)高斯濾波模塊。
[0020] 本發(fā)明提供一種基于JND因子的超像素高斯濾波預(yù)處理方法，主要步驟如下： 步驟一、讀入視頻圖像數(shù)據(jù)：逐幀讀入視頻圖像數(shù)據(jù)進(jìn)行處理； 步驟二、超像素劃分：采用基于SLIC超像素（Superpixel)的方法將該圖像分割成為預(yù) 定大小的超像素； 步驟三、JND因子計(jì)算：計(jì)算超像素內(nèi)每個像素點(diǎn)的基于視覺信息的JND因子(加權(quán)亮 度平均差）并獲得其平均值，并得出該平均值與圖像紋理和平滑度的關(guān)聯(lián)； 步驟四、超像素的自適應(yīng)高斯濾波：根據(jù)超像素內(nèi)JND因子的平均值確定該超像素的 高斯濾波參數(shù)，再采用所述高斯濾波參數(shù)對對應(yīng)的超像素進(jìn)行高斯濾波操作，其中，超像素 的邊界區(qū)域綜合所屬超像素的系數(shù)的平均和。
[0021] 在具體實(shí)施時，步驟一中，在讀入視頻幀時，不需要考慮前后幀之間的時域相關(guān)信 息。
[0022] 而在步驟二中，優(yōu)選采用基于SLIC超像素的方法(可參考Achanta R，Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012，34(11) : 2274-2282.)將圖像分割成平均大約為16x16大小(一個宏塊大?。┑某?素，當(dāng)然，根據(jù)實(shí)際情況及需求，也可以考慮將超像素的大小設(shè)定為其他數(shù)值。由圖2可以 看出，圖像被分割為由相似像素組成的超像素，每個超像素內(nèi)的像素都有相似的平滑度和 紋理區(qū)域。
[0023] 實(shí)施步驟三時，在現(xiàn)有的JND計(jì)算方法中，JND主要包含兩個因子，分別是平均 背景亮度和加權(quán)亮度平均差，本發(fā)明采用加權(quán)亮度平均差G (x，y)(具體的計(jì)算方法可 以參考以下文獻(xiàn)：文獻(xiàn) 1、Yang X, Lin ff, Lu Z, et al. Motion-compensated residue preprocessing in video coding based on just-noticeable-distortion profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15(6): 742-752.;文獻(xiàn)2、Chou C H, Li Y C. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 1995, 5(6): 467-476.)，其計(jì)算公式如 下：
而為濾波器，?TCf)表示(I,