本發(fā)明涉及圖像去噪領(lǐng)域，特別涉及一種面向壓縮人臉圖像的自適應(yīng)三維塊匹配濾波去塊效應(yīng)方法。

背景技術(shù)：

高質(zhì)量的圖像和視頻信息在多媒體應(yīng)用中具有重要的作用。高質(zhì)量圖像不但具有更為真實(shí)的視覺(jué)感受，而且是后續(xù)自動(dòng)分析和識(shí)別算法取得高效性能的重要基礎(chǔ)。然而，針對(duì)海量視頻圖像，存儲(chǔ)空間和傳輸帶寬的限制，圖像視頻都是以低比特壓縮方式常態(tài)存在的?；诜謮K離散余弦變換(BDCT,Blocked Discrete Cosine Transform)的方法廣泛應(yīng)用于圖像和視頻壓縮標(biāo)準(zhǔn)中，如JPEG，MPEG，H.264等。但是，當(dāng)JPEG壓縮率較高時(shí)，通常會(huì)導(dǎo)致解碼后重建圖像的質(zhì)量下降。壓縮失真不僅會(huì)降低人臉圖像的主觀質(zhì)量，同時(shí)也會(huì)導(dǎo)致后續(xù)人臉識(shí)別的識(shí)別率降低。因此，針對(duì)高度壓縮后的低質(zhì)人臉圖像，研究圖像去塊效應(yīng)技術(shù)，提高圖像的質(zhì)量，具有重要的理論意義和實(shí)際應(yīng)用價(jià)值。

針對(duì)圖像去噪問(wèn)題，人們提出了很多優(yōu)秀的去噪算法。Buades提出一種基于自然圖像還有互相似塊的非局部濾波算法。Jung提出一種基于數(shù)據(jù)稀疏性和冗余性表達(dá)的字典學(xué)習(xí)算法來(lái)去除壓縮圖像中的塊效應(yīng)。Zhao在此的基礎(chǔ)上進(jìn)行改進(jìn)，根據(jù)梯度將圖像分為紋理塊、邊緣塊、平滑塊，針對(duì)不同的圖像塊類別選擇不同的閾值，獲得更好的濾波效果。Dong將近兩年最流行的深度學(xué)習(xí)引入圖像去噪領(lǐng)域，獲得較好的去噪效果。在這些算法中，三維塊匹配濾波方法(BM3D，Block-Matching and 3D filtering)是比較典型的圖像去噪算法之一，同時(shí)也是一種有效的去塊效應(yīng)方法。

本發(fā)明提出了一種人臉自適應(yīng)的三維塊匹配濾波方法。我們將三維塊匹配濾波方法中的塊搜索區(qū)域根據(jù)人臉的對(duì)稱性擴(kuò)展。濾波器中的方差參數(shù)(sigma)也會(huì)根據(jù)眼睛鼻子嘴巴的位置以及壓縮質(zhì)量自適應(yīng)的調(diào)整。根據(jù)人臉的對(duì)稱性以及相似的幾何結(jié)構(gòu)特征，人臉自適應(yīng)三維塊匹配濾波方法可以針對(duì)人臉圖像中的去塊效應(yīng)結(jié)果有更進(jìn)一步的提高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于，面向壓縮人臉圖像，采用一種改進(jìn)的人臉自適應(yīng)三維塊匹配濾波方法，解決壓縮人臉圖像中的塊效應(yīng)失真問(wèn)題，以提高人臉圖像的主客觀效果。

本發(fā)明是采用以下技術(shù)手段實(shí)現(xiàn)的：

一種改進(jìn)的人臉自適應(yīng)三維塊匹配濾波方法，算法分為兩個(gè)部分：獲取自適應(yīng)參數(shù)以及三維塊匹配濾波部分。自適應(yīng)參數(shù)的選擇包括根據(jù)不同的壓縮比選擇不同的濾波器方差參數(shù)(sigma)。首先，面向人臉圖像建立模型；然后，根據(jù)人臉模型，將圖像分為背景區(qū)域與目標(biāo)區(qū)域；最后，針對(duì)不同區(qū)域采用不同的參數(shù)。三維塊匹配濾波部分依據(jù)自適應(yīng)參數(shù)對(duì)輸入圖像進(jìn)行變換域協(xié)同濾波處理。

所述獲取自適應(yīng)參數(shù)部分分為3個(gè)步驟：

(1)定義人臉模型

人臉圖像作為一種特殊圖像，具有對(duì)稱性。因此，搜索圖像相似塊的范圍應(yīng)該包括左右對(duì)稱的部分。例如，眼睛部分的圖像塊為參考?jí)K時(shí)，搜索的范圍應(yīng)該包括左眼和右眼兩個(gè)部分。但是，全局搜索是極其耗時(shí)的。不同的人臉圖像有著相似的幾何結(jié)構(gòu)，即眼睛、鼻子、嘴巴的位置是相似的。人臉圖像中主要的細(xì)節(jié)信息集中在這幾個(gè)位置。因此，濾波器參數(shù)sigma針對(duì)于五官區(qū)域及平坦區(qū)域應(yīng)該選取不同的參數(shù)。

為了實(shí)現(xiàn)這種方案，我們定義了一個(gè)人臉模型。我們選取N幅正面人臉圖像，根據(jù)人眼位置歸一化。然后，將N張人臉圖像疊加，得到一個(gè)統(tǒng)計(jì)能量圖。

我們獲取雙眼中心的坐標(biāo)后，得到兩眼間的像素距離。由此，定義一個(gè)T型區(qū)域。這個(gè)區(qū)域包含了正面人臉的所有重要器官。左、右眼中心P₁、P₂的坐標(biāo)分別為(x₁,y₁)、(x₂,y₂)，P₁和P₂處于同一水平線上。兩眼間的像素距離為d。根據(jù)兩眼距離以及人臉五官位置關(guān)系，我們定義一個(gè)T型區(qū)域。左右眼中心到左右邊界距離均為0.25d，組成了一個(gè)長(zhǎng)為1.5d寬為0.5d的矩形，是T型區(qū)域的水平部分；T型區(qū)域的垂直部分是一個(gè)長(zhǎng)為0.75d寬為d的矩形。這個(gè)區(qū)域包含了正面人臉的所有重要器官。

基于這個(gè)人臉模型，我們將相似塊的搜索區(qū)域擴(kuò)展。垂直的搜索距離保持不變，而水平方向的搜索范圍擴(kuò)展到T型區(qū)域的邊界處。

(2)根據(jù)壓縮比獲取自適應(yīng)參數(shù)

一個(gè)實(shí)用的圖像去噪方法需要能夠根據(jù)噪聲的強(qiáng)度來(lái)自適應(yīng)的調(diào)節(jié)參數(shù)，以達(dá)到最好的去燥效果。BM3D濾波算法中sigma參數(shù)代表含噪圖像中高斯噪聲的強(qiáng)度。

當(dāng)處理對(duì)象為壓縮后的人臉圖像時(shí)，我們需要選擇合適的sigma。實(shí)驗(yàn)結(jié)果表明，sigma過(guò)大則維納濾波過(guò)強(qiáng)，造成圖像的過(guò)度平滑；sigma過(guò)小則濾波強(qiáng)度不夠?qū)е聼o(wú)法有效的去除塊效應(yīng)。為了解決這個(gè)問(wèn)題，本發(fā)明提出針對(duì)不同壓縮比下的人臉圖像采用不同的sigma參數(shù)。

處理整幅圖像時(shí)，不同的壓縮比下應(yīng)采用不同的濾波參數(shù)sigma。本發(fā)明選擇N幅圖像來(lái)測(cè)試針對(duì)不同壓縮比下的最優(yōu)sigma參數(shù)。將壓縮因子Q設(shè)為5到40區(qū)間，間隔為5，對(duì)N幅圖像分別JPEG壓縮。當(dāng)前壓縮因子為Q時(shí)，針對(duì)每一幅圖像，測(cè)試了2到40之間、間隔為2，不同的sigma參數(shù)對(duì)應(yīng)的PSNR結(jié)果。計(jì)算N個(gè)PSNR的平均值。將最高的平均PSNR對(duì)應(yīng)的sigma作為壓縮因子為Q時(shí)的最優(yōu)sigma參數(shù)。

(3)根據(jù)人臉模型獲取自適應(yīng)參數(shù)

BM3D算法采用統(tǒng)一的sigma參數(shù)處理整幅自然圖像。這種情況使得處理后的人臉圖像的細(xì)節(jié)區(qū)域損失大量高頻信息。為了保護(hù)特殊區(qū)域的細(xì)節(jié)信息，本發(fā)明根據(jù)人臉模型提出參數(shù)自適應(yīng)調(diào)節(jié)。我們將人臉圖像分為兩個(gè)部分，也就是背景區(qū)域R_b和重要器官區(qū)域R_o。背景區(qū)域R_b表示平坦區(qū)域，即T型區(qū)域的外部；R_o表示眼睛、鼻子和嘴巴的區(qū)域，，即T型區(qū)域的內(nèi)部，在這部分包含了復(fù)雜的紋理結(jié)構(gòu)。在壓縮比為Q的情況下，R_b區(qū)域中sigma參數(shù)sigma_b依據(jù)步驟(2)所測(cè)結(jié)果選取。而對(duì)于R_o區(qū)域中的sigma參數(shù)sigma_o，保持sigma_b不變，測(cè)試2到40之間、間隔為2，不同的sigma_o參數(shù)對(duì)應(yīng)的PSNR結(jié)果。計(jì)算N個(gè)PSNR的平均值。最高的平均PSNR對(duì)應(yīng)的sigma_o，作為壓縮因子為Q時(shí)的最優(yōu)sigma_o參數(shù)。針對(duì)不同壓縮比的情況，多次重復(fù)測(cè)試可獲取不同壓縮比下不同區(qū)域的經(jīng)驗(yàn)參數(shù)。

所述三維塊匹配濾波部分分為兩個(gè)階段：

(1)基礎(chǔ)估計(jì)

a)分組

把輸入壓縮失真人臉圖像Z劃分成相互交疊的圖像塊Z_xeX，其中X是這些塊的坐標(biāo)構(gòu)成的合集。采用歐式距離衡量?jī)蓤D像塊之間的相似性。距離越小意味著兩個(gè)圖像塊越相似。分別將參考圖像塊和搜索范圍內(nèi)的圖像塊逐個(gè)對(duì)比，若歐式距離小于距離閾值則認(rèn)為兩圖像塊相似，反之則不相似。將搜索到的具有相似結(jié)構(gòu)的二維圖像塊組成一個(gè)三維數(shù)組

b)協(xié)同濾波

對(duì)三維矩陣進(jìn)行可分的三維變換，具體包括二維Bior小波硬閾值收縮和塊間徑向一維Haar小波變換。所得結(jié)果利用硬閾值調(diào)整變換系數(shù)來(lái)去除噪聲，再執(zhí)行逆三維變換：

其中，T為可分的三維變換，T^-1為T(mén)的逆變換，shrink為硬閾值處理。

c)聚集

步驟b)硬閾值收縮后，每個(gè)塊都得到一個(gè)估計(jì)值。根據(jù)估計(jì)值集合矩陣數(shù)值中非零的個(gè)數(shù)，得到基礎(chǔ)估計(jì)權(quán)值：

其中，為三維矩陣硬閾值處理后非零系數(shù)的個(gè)數(shù)，sigma為自適應(yīng)參數(shù)獲取部分得到的參數(shù)。

對(duì)于某一個(gè)像素，可能會(huì)出現(xiàn)在多個(gè)塊內(nèi)，需要對(duì)這些有重疊的塊估計(jì)值進(jìn)行加權(quán)平均來(lái)得到每個(gè)像素的基礎(chǔ)估計(jì)值，重建為基礎(chǔ)估計(jì)圖像

(2)最終估計(jì)

對(duì)基礎(chǔ)估計(jì)后的圖像再進(jìn)行分塊并協(xié)同維納濾波，分為以下三個(gè)步驟：

a)分組

對(duì)第一步中得到的基礎(chǔ)估計(jì)圖像以類似原則再次進(jìn)行塊匹配，并堆疊所有匹配的塊形成新的三維矩陣同時(shí)利用這個(gè)匹配結(jié)果的各個(gè)圖像塊的坐標(biāo)，在輸入含噪聲圖像Z_x中找到與這些坐標(biāo)相對(duì)應(yīng)的圖像塊，構(gòu)成另一個(gè)三維矩陣此時(shí)有兩個(gè)對(duì)應(yīng)的三維矩陣，一個(gè)是第一步得到的由原圖像中相似塊組成的三維矩陣，另一個(gè)是由基礎(chǔ)估計(jì)生成的圖像中相似塊組成的三維矩陣。

b)協(xié)同維納濾波

對(duì)兩個(gè)三維矩陣均進(jìn)行可分的三維變換，具體是二維DCT余弦變換以及一維Haar小波變換，以基礎(chǔ)估計(jì)圖像對(duì)應(yīng)的三維矩陣對(duì)原圖像對(duì)應(yīng)的三維矩陣進(jìn)行維納濾波。最后執(zhí)行可分的三維逆變換得到去噪的圖像塊。具體公式如下：

其中，為對(duì)含噪圖像上三維矩陣的三維變換，為逆三維變換，維納濾波公式為：

c)聚集

同基礎(chǔ)估計(jì)中的聚集步驟相似，需要對(duì)這些塊估計(jì)值進(jìn)行加權(quán)平均后放回它們?cè)嘉恢脕?lái)得到的最終的去噪圖像。權(quán)值由下式確定：

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下明顯的優(yōu)勢(shì)和有益效果：

本發(fā)明提出了一種面向壓縮人臉圖像的自適應(yīng)三維塊匹配濾波方法。本發(fā)明利用人臉的先驗(yàn)位置信息，將人臉圖像分為背景區(qū)域和目標(biāo)區(qū)域。然后分別對(duì)這兩種類型區(qū)域采用不同的參數(shù)，去除塊效應(yīng)。

本發(fā)明的特點(diǎn)：

1、對(duì)人臉圖像進(jìn)行模型統(tǒng)計(jì)，將人臉的先驗(yàn)位置信息引入圖像去塊效應(yīng)過(guò)程，在濾波的同時(shí)更好地保持人臉圖像細(xì)節(jié)信息；

2、提出了一種改進(jìn)的三維塊匹配濾波方法，針對(duì)不同壓縮比下的人臉圖像，采用不同的參數(shù)濾波，使得濾波更具有針對(duì)性；

3、對(duì)三維塊匹配濾波方法進(jìn)行了大量實(shí)驗(yàn)，優(yōu)化了算法。

下面結(jié)合實(shí)例參照附圖進(jìn)行詳細(xì)說(shuō)明，以求對(duì)本發(fā)明的目的、特征和優(yōu)點(diǎn)得到更深入的理解。

附圖說(shuō)明：

圖1、人臉模型示意圖；

圖2、圖像塊基于人臉模型搜索相似圖像塊結(jié)果；

圖3、不同區(qū)域的參數(shù)選擇；

圖4、不同壓縮比下的最優(yōu)sigma

圖5、三維塊匹配算法流程圖

圖6、不同方法去塊效應(yīng)方法主觀結(jié)果對(duì)比

圖7、圖6部分局部放大結(jié)果

具體實(shí)施方式：

以下結(jié)合說(shuō)明書(shū)附圖，對(duì)本發(fā)明的實(shí)施實(shí)例加以說(shuō)明：

本發(fā)明采用CAS-PEAL-R1大型公開(kāi)人臉數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練和測(cè)試。CAS-PEAL-R1人臉庫(kù)包括不同表情、不同姿態(tài)不同配飾、不同光照、不同背景、與相機(jī)之間不同距離的人臉圖像，共1040個(gè)人的30863幅圖像。實(shí)驗(yàn)中，我們選用無(wú)遮擋的正常正面人臉圖像中的100張圖像作為訓(xùn)練樣本，20張圖像作為測(cè)試樣本。

本發(fā)明提出方法主要分為兩個(gè)部分：獲取自適應(yīng)參數(shù)階段和三維塊匹配濾波階段。

(1)獲取自適應(yīng)參數(shù)部分

具體實(shí)現(xiàn)步驟如下：

a)建立人臉模型

第一步，建立訓(xùn)練樣本庫(kù)。對(duì)于N幅高質(zhì)量人臉圖像庫(kù)N＝100，進(jìn)行人臉五官歸一化，分別對(duì)齊眼睛，鼻子和嘴巴，再轉(zhuǎn)換為灰度圖；然后，建立一個(gè)統(tǒng)計(jì)能量圖，如圖1所示。左、右眼中心P₁、P₂的坐標(biāo)分別為(x₁,y₁)、(x₂,y₂)，根據(jù)兩眼距離以及人臉五官位置關(guān)系，我們定義一個(gè)T型區(qū)域。左右眼中心到邊界距離均為0.25d，組成了一個(gè)長(zhǎng)為1.5d寬為0.5d的矩形，是T型區(qū)域的水平部分；T型區(qū)域的垂直部分是一個(gè)長(zhǎng)為0.75d寬為d的矩形。基于這個(gè)人臉模型，我們將相似塊的搜索區(qū)域擴(kuò)展。垂直的搜索距離保持不變，而水平方向的搜索范圍擴(kuò)展到T型區(qū)域的邊界處。

圖2展示了以左眼區(qū)域圖像塊作為參考?jí)K，使用T型區(qū)域作為搜索范圍來(lái)搜索相似塊的結(jié)果。其中，灰色色框內(nèi)為參考?jí)K，白色框?yàn)樗阉鞯降南嗨茐K。

b)根據(jù)不同的壓縮比獲取自適應(yīng)參數(shù)

對(duì)于N幅圖像，N＝100，測(cè)試針對(duì)不同壓縮比下的最優(yōu)sigma參數(shù)。將壓縮因子Q設(shè)為5到40，間隔為5，對(duì)N幅圖像分別做JPEG壓縮。當(dāng)壓縮因子為Q時(shí)，對(duì)每一幅圖像測(cè)試，測(cè)試了simga參數(shù)取值為2到40之間、間隔為2，不同的sigma參數(shù)對(duì)應(yīng)的PSNR結(jié)果。對(duì)同一壓縮因子下的N個(gè)PSNR求得平均值。最高的平均PSNR對(duì)應(yīng)的sigma參數(shù)作為當(dāng)前壓縮因子下的最優(yōu)sigma參數(shù)。測(cè)試的經(jīng)驗(yàn)結(jié)果如圖3所示。通過(guò)這些獲取的經(jīng)驗(yàn)參數(shù)，在處理不同壓縮比下的壓縮人臉圖像時(shí)，直接采用最優(yōu)的sigma參數(shù)來(lái)獲得更高的平均峰值信噪比。

c)根據(jù)人臉模型獲取自適應(yīng)參數(shù)

從人臉模型中，T型區(qū)域中的五官區(qū)域的細(xì)節(jié)更顯著。因此，將人臉圖像分為兩個(gè)部分，也就是背景區(qū)域R_b和重要器官區(qū)域R_o。背景區(qū)域R_b表示平坦區(qū)域，即T型區(qū)域的外部；R_o表示眼睛、鼻子和嘴巴的區(qū)域，即T型區(qū)域內(nèi)部，在這部分包含了復(fù)雜的紋理結(jié)構(gòu)。在壓縮比為Q的情況下，R_b區(qū)域中sigma參數(shù)sigma_b依據(jù)步驟b)所測(cè)結(jié)果選取。而對(duì)于R_o區(qū)域中的sigma參數(shù)sigma_o，保持sigma_b不變，測(cè)試2到40之間、間隔為2，不同的sigma_o參數(shù)對(duì)應(yīng)的PSNR結(jié)果。計(jì)算N個(gè)PSNR取平均值。最高的平均PSNR對(duì)應(yīng)的sigma_o，作為壓縮因子為Q時(shí)的最優(yōu)sigma_o參數(shù)。針對(duì)不同壓縮比的情況，多次重復(fù)測(cè)試可獲取不同壓縮比下不同區(qū)域的經(jīng)驗(yàn)最優(yōu)參數(shù)。如圖4所示。

(2)三維塊匹配濾波部分

所述三維塊匹配濾波部分分為兩個(gè)階段：

第一階段：基礎(chǔ)估計(jì)

a)分組

把輸入圖像Z劃分成8×8大小、相互交疊5像素的圖像塊Z_x∈X，其中X是這些塊的坐標(biāo)構(gòu)成的合集。采用歐式距離衡量?jī)蓤D像塊之間的相似性。越小的距離意味著兩個(gè)圖像塊越相似。分別將參考圖像塊和搜索范圍內(nèi)的圖像塊逐個(gè)對(duì)比，若歐式距離小于距離閾值則認(rèn)為兩圖像塊相似，反之則不相似。將搜索到的具有相似結(jié)構(gòu)的二維圖像塊組成一個(gè)三維數(shù)組

b)協(xié)同濾波

對(duì)三維矩陣進(jìn)行可分的三維變換，具體包括二維Bior小波硬閾值收縮和塊間徑向一維Haar小波變換。所得結(jié)果利用硬閾值調(diào)整變換系數(shù)來(lái)去除噪聲，再執(zhí)行逆三維變換：

其中，T為可分的三維變換，T^-1為T(mén)的逆變換，shrink為硬閾值處理。

c)聚集

步驟b)硬閾值收縮后，每個(gè)塊都得到一個(gè)估計(jì)值。根據(jù)估計(jì)值集合矩陣數(shù)值中非零的個(gè)數(shù)，得到基礎(chǔ)估計(jì)權(quán)值：

其中，為三維矩陣硬閾值處理后非零系數(shù)的個(gè)數(shù)，sigma為自適應(yīng)參數(shù)獲取部分得到的參數(shù)。

對(duì)于某一個(gè)像素，可能會(huì)出現(xiàn)在多個(gè)塊內(nèi)，需要對(duì)這些有重疊的塊估計(jì)值進(jìn)行加權(quán)平局來(lái)得到每個(gè)像素的基礎(chǔ)估計(jì)值，重建為基礎(chǔ)估計(jì)圖像

第二階段：最終估計(jì)

對(duì)基礎(chǔ)估計(jì)后的圖像再進(jìn)行分塊并協(xié)同維納濾波，分為以下三個(gè)步驟：

a)分組

對(duì)第一步中得到的基礎(chǔ)估計(jì)圖像以類似原則再次進(jìn)行塊匹配，并堆疊所有匹配的塊形成新的三維矩陣同時(shí)利用這個(gè)匹配結(jié)果的各個(gè)圖像塊的坐標(biāo)，在輸入含噪聲圖像Z_x中找到與這些坐標(biāo)相對(duì)應(yīng)的圖像塊，構(gòu)成另一個(gè)三維矩陣此時(shí)有兩個(gè)對(duì)應(yīng)的三維矩陣，一個(gè)是第一步得到的由原圖像中相似塊組成的三維矩陣，另一個(gè)是由基礎(chǔ)估計(jì)生成的圖像中相似塊組成的三維矩陣。

b)協(xié)同維納濾波

對(duì)兩個(gè)三維矩陣均進(jìn)行可分的三維變換，具體是二維DCT余弦變換以及一維Haar小波變換，以基礎(chǔ)估計(jì)圖像對(duì)應(yīng)的三維矩陣對(duì)原圖像對(duì)應(yīng)的三維矩陣進(jìn)行維納濾波。最后執(zhí)行可分的三維逆變換得到去噪的圖像塊。具體公式如下：

其中，為對(duì)含噪圖像上三維矩陣的三維變換，為逆三維變換，維納濾波公式為：

c)聚集

同基礎(chǔ)估計(jì)中的聚集步驟相似，需要對(duì)這些塊估計(jì)值進(jìn)行加權(quán)平均放回它們?cè)嘉恢脕?lái)得到的最終的去噪圖像，且權(quán)值由下式確定：

實(shí)驗(yàn)結(jié)果見(jiàn)附圖說(shuō)明表1及圖6，分別采用不同算法來(lái)去除壓縮人臉圖像中的塊效應(yīng)與應(yīng)用所述算法得到的去塊效應(yīng)結(jié)果的對(duì)比。圖7為圖6中部分圖像局部放大結(jié)果對(duì)比。

表1、不同算法得到的圖像去塊效應(yīng)客觀結(jié)果對(duì)比