專利名稱：基于k近鄰稀疏編碼均值約束的人臉超分辨率處理方法
技術領域：
本發(fā)明屬于圖像處理技術領域，尤其涉及一種基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法。
背景技術：
在視頻監(jiān)控條件獲取的人臉圖像往往具有較低的分辨率和較差的圖像質(zhì)量，以致于難以滿足人臉辨識的需要。人臉超分辨率技術，也叫做幻覺臉技術(FaceHallucination)，它能夠在不改變硬件環(huán)境的情況下，從一副或多幅低分辨率輸入人臉圖像中，重建出一副高分辨率的人臉圖像，達到改善人臉圖像的清晰度的目的。該技術在安防 監(jiān)控、計算機視覺等領域中具有重要的應用?，F(xiàn)有的人臉超分辨率方法大致分為三類第一類是基于全局參數(shù)模型的人臉超分辨率方法，第二類是基于局部非參數(shù)模型的人臉超分辨率方法，第三類是結(jié)合全局模型和局部模型的人臉超分辨率方法。本發(fā)明主要關注第二類方法?；诰植糠菂?shù)模型的人臉超分辨率方法大致包括以下三個步驟首先將人臉圖像劃分成大小相等的圖像塊，然后針對每個圖像塊進行超分辨率重建得到高分辨率圖像塊，最后將重建后的高分辨率圖像塊融合在一起，得到完整的高分辨率人臉圖像。由于這類方法能夠充分利用局部人臉圖像的統(tǒng)計特性，如眼睛、嘴、位置等，較之輸入圖像，合成的高分辨率人臉圖像能夠明顯地改善輸入圖像的清晰度。不過，該方法也存在著易受噪聲干擾，且計算量大的弊端。最近鄰方法被用于減少基于局部非參數(shù)模型的人臉超分辨率方法的計算復雜度。最近鄰方法在計算的過程中，需要根據(jù)經(jīng)驗值來指定近鄰塊的個數(shù)，易導致合成高分辨率圖像塊的信息過擬合或者不充分。Yangtl]首次將壓縮感知的思想應用到超分辨率領域，在自然圖像超分辨率重建過程中，通過自動選取合成塊的個數(shù)，取得了較好的超分辨率效果。在Yang的基礎上，Changt2]利用稀疏表示的方法合成人臉素描圖像。Ma[3]提出了基于塊位置的人臉超分辨率方法。在已有研究的基礎上，Jungtt]提出了利用凸優(yōu)化替代Ma方法中的最小二乘估計的基于位置塊稀疏表示的人臉超分辨率方法，取得了比Ma方法更好的效果。盡管現(xiàn)有的人臉超分辨率方法在理想超分辨率情況下(即對只有下采樣的降質(zhì)圖像進行超分辨率)取得了較好的效果，但是，當?shù)头直媛蕡D像中同時具有噪聲時，已有的人臉超分辨率方法重建的人臉圖像的清晰度和相似度則會大大降低。文中涉及的參考文獻如下[I] J. C. Yang, J. Wright, T. S. Huang, Y. Ma. Image Super-Resolution Via SparseRepresentation. IEEE TIP,19 (11), pp. 2861-2873，2010.[2]L. Chang, M. Zhou, Face Sketch Synthesis via Sparse Representation, InICPR, pp. 2146-2149，2010.[3]Ma, J. Zhang, and C. Qi, Hallucinating face by position-patch, Pattern Recognition, 43(I), pp. 2224-2236，2010.
[4]X. C. Jung, L. Jiao, and etc. Position-Patch Based FaceHallucination Using Convex Optimization. IEEE Signal ProcessingLetters, 18(6), pp. 367-370，2011)

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，該方法能提高重建高分辨率人臉圖像清晰度和相似度。為達到上述目的，本發(fā)明采用如下的技術方案基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，包括以下步驟步驟一，對待處理人臉圖像和人臉訓練樣本圖像進行分塊得到待處理人臉圖像塊和人臉訓練樣本圖像塊，所述的人臉訓練樣本圖像包括高分辨率人臉訓練樣本圖像和低分辨率人臉訓練樣本圖像，那么，所得的人臉訓練樣本圖像塊包括高分辨率人臉訓練樣本圖 像塊和低分辨率人臉訓練樣本圖像塊；步驟二，根據(jù)步驟一所得各圖像塊的位置先驗信息，對人臉訓練樣本圖像塊進行聚類，分別獲得各相應位置的高分辨率稀疏表示子字典和低分辨率稀疏表示子字典，所述的位置先驗信息為待處理人臉圖像塊和各人臉訓練樣本圖像塊在相同像素點上的位置信息；步驟三，利用低分辨率稀疏表示子字典對待處理人臉圖像塊的K近鄰進行稀疏表示，獲得到待處理圖像塊的K近鄰稀疏編碼均值；步驟四，基于稀疏先驗和待處理圖像塊的K近鄰稀疏編碼均值約束實現(xiàn)待處理圖像塊的稀疏表示，獲得待處理圖像塊的稀疏編碼系數(shù)；步驟五，根據(jù)待處理圖像塊的稀疏編碼系數(shù)和其對應位置的高分辨率稀疏表示子字典對待處理圖像塊進行高分辨率圖像塊重建；步驟六，根據(jù)重建的高分辨率圖像塊獲取高分辨率人臉圖像。步驟一進一步包括以下子步驟1-1對待處理人臉圖像和各人臉訓練樣本圖像進行大小歸一化處理，所述的人臉訓練樣本圖像包括高分辨率人臉訓練樣本圖像和低分辨率人臉訓練樣本圖像；1-2選取若干人臉特征點，根據(jù)選取的人臉特征點將待處理人臉圖像、各人臉訓練樣本圖像對齊，具體可采用仿射變換將待處理人臉圖像、各人臉訓練樣本圖像對齊；1-3將對齊后的待處理人臉圖像和各人臉訓練樣本圖像進行分塊得到待處理人臉圖像塊和人臉訓練樣本圖像塊，所述的人臉訓練樣本圖像塊包括高分辨率人臉訓練樣本圖像塊和低分辨率人臉訓練樣本圖像塊。步驟二進一步包括以下子步驟2-1將步驟一所得人臉訓練樣本圖像塊中每個圖像塊展開成一個列矢量，列矢量中的每個元素對應著該圖像塊中各像素點的灰度值，所有的低分辨率人臉訓練樣本圖像塊所對應的列矢量組成低分辨率人臉訓練樣本圖像塊矢量集，所有的高分辨率人臉訓練樣本圖像塊所對應的列矢量組成高分辨率人臉訓練樣本圖像塊矢量集；2-2根據(jù)各圖像塊的位置先驗信息，選取相同位置上的低分辨率人臉訓練樣本圖像塊矢量集作為該位置的低分辨率稀疏表示子字典，所述的位置先驗信息為待處理人臉圖像塊和各人臉訓練樣本圖像塊在相同像素點上的位置信息；2-3根據(jù)各圖像塊的位置先驗信息，選取相同位置上的高分辨率人臉訓練樣本圖像塊矢量集作為該位置的高分辨率稀疏表示子字典，所述的位置先驗信息為待處理人臉圖像塊和各人臉訓練樣本圖像塊在相同像素點上的位置信息。步驟三中所述的待處理圖像塊的K近鄰稀疏編碼均值由待處理圖像塊近鄰塊k的稀疏編碼系數(shù)ap,k加權(quán)平均得到，具體為五Κ]=Σ *⑴
k^Np其中，a p,k是待處理圖像塊的近鄰塊k的稀疏編碼系數(shù)；COp k是待處理圖像塊的近鄰塊k的稀疏編碼系數(shù)權(quán)重；NP表示待處理圖像塊的K個近鄰塊的集合，k e Np。
上述待處理圖像塊的近鄰塊k的稀疏編碼系數(shù)ap,k，采用以下公式計算獲得apli = argmin||//；, -+ /.|r/y ,||L、2)其中Il表示待處理圖像塊的近鄰塊k;Df表示待處理圖像塊對應位置的低分辨率稀疏表示子字典；λ是用于平衡稀疏約束項和保真項的正則化參數(shù)，其值根據(jù)待處理圖像塊的噪聲水平而不同，噪聲水平越大，λ取值越大，在高斯噪聲情況下，取高斯噪聲方差的1/10。式(2)中等號右側(cè)第一項為保真項，第二項為稀疏約束項。這里采用LI范數(shù)約束最小二乘法求解式(2)，從而得到待處理入圖像塊近鄰塊k的稀疏編碼系數(shù)ap,k。上述待處理圖像塊的近鄰塊k的稀疏編碼系數(shù)權(quán)重《p，k為ω!Κ. =exp(- I) -Ij k J'h)iC(3)其中M表示待處理圖像塊·/〃,表示待處理圖像塊G的近鄰塊k ;h為常數(shù)，h>0，其值取決于期望的稀疏編碼系數(shù)權(quán)重的分布幅度，期望的稀疏編碼系數(shù)權(quán)重的分布幅度大，則h取值大；C為歸一化。步驟四中所述待處理圖像塊的稀疏編碼系數(shù)，采用以下公式計算獲得W = argmin|/f—/). ' _ +-λ α[ + β aj' -4)其中,/f表示待處理圖像塊化表示待處理圖像塊町對應位置的低分辨率稀疏表示子字典；可Kp]表示待處理圖像塊的K近鄰稀疏編碼均值；λ是用于平衡稀疏約束項和保真項的正則化參數(shù)，其取值根據(jù)待處理圖像塊的噪聲水平而不同，噪聲水平越大，λ取值越大，在高斯噪聲情況下，取高斯噪聲方差的1/10 ;β為K近鄰稀疏編碼均值的約束參數(shù)，其取值跟待處理圖像塊的噪聲水平有關，噪聲水平越大其取值越大，β的取值決定著K近鄰稀疏編碼均值約束項在目標函數(shù)求解過程中發(fā)揮作用的大小，β彡O ^。表示介于第一范數(shù)和第二范數(shù)之間的范數(shù)范數(shù)，I < Ip < 2。式(4)中等號右側(cè)第一項為保真項，第二項為稀疏約束項，第三項為K近鄰稀疏編碼均值約束項。將式(4)變挨力》=arg mi η Z - Sa \ +λ af、、
2I
(H ) (dp\其中，Z=J= L ；
{βΕ αΠ] Κ-β)
采用LI范數(shù)約束最小二乘法求解式(5)得到待處理圖像塊的稀疏編碼系數(shù)《 步驟五中所述對待處理圖像塊進行高分辨率圖像塊重建是通過系數(shù)映射完成，該重建過程采用如下公式Iph = DphUpl (6)其中,g表示待處理圖像塊重建后得到的高分辨率圖像塊；母表示待處理圖像塊對應位置的高分辨率稀疏表示子字典為待處理圖像塊的稀疏編碼系數(shù)。將待處理人臉圖像所分成的待處理圖像塊均進行高分辨率圖像塊重建后，將所有 重建的高分辨率圖像塊在相鄰處進行交疊平均即可得到高分辨率人臉圖像。本發(fā)明方法利用人臉圖像塊的位置先驗信息，提高人臉圖像超分辨率重建的相似性；利用K近鄰稀疏編碼均值約束待處理圖像塊的稀疏編碼系數(shù)，降低稀疏編碼噪聲，最終提高重建高分辨率人臉圖像的清晰度。與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點和積極效果I)本發(fā)明方法具有更低的均方誤差(RMSE)，更高的峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)，表明本發(fā)明方法重建的高分辨率圖像更逼真；2)本發(fā)明在主觀效果上明顯提高了重建人臉圖像的清晰度和相似度。


圖I是本發(fā)明方法的流程圖；圖2本實施例的主觀效果對比圖，其中，圖(a)為待處理的低分辨率人臉圖像，圖
(b)為采用雙三次方插值方法處理圖(a)中人臉圖像的結(jié)果圖像，圖(C)為采用Ma方法處理圖(a)中人臉圖像的結(jié)果圖像，圖(d)為采用Jung方法處理圖(a)中人臉圖像的結(jié)果圖像，圖(e)為采用本發(fā)明方法處理圖(a)中人臉圖像的結(jié)果圖像，圖(f )為圖(a)中待處理的低分辨率人臉圖像所對應的原始高分辨率人臉圖像；圖3是不同噪聲水平下本發(fā)明方法和其他方法的峰值信噪比(PSNR)對比圖。
具體實施例方式下面以具體實施例結(jié)合附圖對本發(fā)明作進一步說明。本發(fā)明提供的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法的流程圖參見圖1，包括以下步驟步驟SI，對待處理人臉圖像和人臉訓練樣本圖像進行分塊得到待處理人臉圖像塊和人臉訓練樣本圖像塊，所述的人臉訓練樣本圖像包括高分辨率人臉訓練樣本圖像和低分辨率人臉訓練樣本圖像，因此所得的人臉訓練樣本圖像塊包括高分辨率人臉訓練樣本圖像塊和低分辨率人臉訓練樣本圖像塊；步驟S2，根據(jù)步驟一所得各圖像塊的位置先驗信息，對人臉訓練樣本圖像塊進行聚類，得到各相應位置的高分辨率稀疏表示子字典和低分辨率稀疏表示子字典；所述的位置先驗信息為待處理人臉圖像塊和各人臉訓練樣本圖像塊在相同像素點上的位置信息；某相應位置的聞分辨率稀疏表不子字典和低分辨率稀疏表不子字典分別為該位置的聞分辨率人臉訓練樣本圖像塊和低分辨率人臉訓練樣本圖像塊的矢量集；步驟S3，利用低分辨率字典對待處理圖像塊的K近鄰進行稀疏表示，得到待處理圖像塊的K近鄰稀疏編碼均值；步驟S4，基于稀疏先驗和待處理圖像塊的K近鄰稀疏編碼均值約束實現(xiàn)待處理圖像塊的稀疏表不;步驟S5，根據(jù)待處理圖像塊的稀疏編碼系數(shù)和其對應位置的高分辨率稀疏表示子字典對待處理圖像塊進行高分辨率圖像塊重建；步驟S6，將重建的高分辨率圖像塊交疊平均得到高分辨率人臉圖像。本發(fā)明方法可應用于安防監(jiān)控和計算機視覺等領域。例如，在視頻監(jiān)控下獲取的人臉圖像往往具有較低的分辨率和較差的圖像質(zhì)量，難以滿足人臉辨識。將視頻獲取的人臉圖像作為待處理圖像，采用本發(fā)明方法重建出一副高分辨率的人臉圖像，在不改變硬件環(huán)境的情況下可以改善人臉圖像清晰度和相似度。 下面將結(jié)合實施例具體說明本發(fā)明的詳細步驟和有益效果。本實施例以MATLAB7作為仿真實驗平臺，以中國科學院享人臉圖像數(shù)據(jù)庫CAS-PEAL-R1共享人臉圖像數(shù)據(jù)庫作為訓練和測試圖像。SI :根據(jù)人臉塊位置先驗信息，對訓練樣本圖像塊進行聚類，得到相應位置的高、低分辨率稀疏表不子字典。該過程包括以下子步驟1-1從共享人臉圖像數(shù)據(jù)庫中選取1040副正面中性表情的高分辨率人臉圖像，扣取面部圖像，調(diào)整大小為112X100像素。1-2在每副人臉圖像上選取12個人臉特征點，利用仿射變換對1040副人臉圖像進行對齊，選取的人臉特征點分布情況是眼睛4個點，鼻子3個點，嘴角2個點，腮2個點，下巴I個點。1-3將對齊后的高分辨率人臉圖像進行降質(zhì)處理，得到與高分辨率人臉圖像對應的低分辨率人臉圖像。降質(zhì)過程如下式所示y=DBX+n(I)其中，X表示高分辨率人臉圖像；y表示和X對應的低分辨率人臉圖像出為鏡頭光學模糊矩陣，此處表示模糊核為8X8的平均模糊操作；D為下采樣矩陣，此處表示4倍下采樣操作；n為噪聲矩陣，此處表示均方差為12的高斯加性噪聲。1-4在1040對高、低分辨率人臉圖像對中隨機選取1000對人臉圖像對作為人臉訓練樣本圖像，剩下的40對人臉圖像對作為測試圖像，測試圖像即待處理人臉圖像。這里人臉訓練樣本圖像包括高分辨率人臉訓練樣本圖像和低分辨率人臉訓練樣本圖像，將高、低分辨率人臉訓練樣本圖像集分別表示為==[4, S2h,-, S§] G Rm^(2)SL={SqL}% =[Slr Si,··； Sf] GRnxq(3)其中，SH、Sl分別表示高、低分辨率人臉訓練樣本圖像集'SJ1、$分別表示高、低分辨率人臉訓練樣本圖像集中第q副圖像；Q表示高、低分辨率人臉訓練樣本圖像集中人臉圖像的數(shù)量均為Q，本實施例中Q=IOOO ;R表示希爾伯特空間(Hilbert空間)；M、N分別表示高、低分辨率人臉訓練樣本圖像向量，維數(shù)M、N分別與高、低分辨率人臉訓練樣本圖像的大
小有關。由于本實施例中，低分辨率人臉訓練樣本圖像是由高分辨率人臉訓練樣本圖像下采樣操作得到，所以有M = s2N，其中，s表示下采樣倍數(shù)。對所有的人臉訓練樣本圖像和測試圖像進行分塊，將高分辨率人臉訓練樣本圖像劃分成大小為BXB像素的高分辨率人臉訓練樣本圖像塊，將低分辨率人臉訓練樣本圖像和測試圖像分別劃分成大小為bXb像素的低分辨率人臉訓練樣本圖像塊和測試圖像塊，不管是高、低分辨率人臉訓練樣本圖像，還是測試圖像，每幅圖像均劃分為數(shù)量相等的圖像塊。其中，b=B/s，s為下采樣倍數(shù)。假設每副圖像均被劃分為P塊圖像塊，即每幅圖像有P個塊位置，則高、低分辨率人臉訓練樣本圖像塊集合可表示為{I%Jl<q<0,\<p<P}⑷{r[p\\<q<Q,\<p<P}K5)其中，分別為高、低分辨率人臉訓練樣本圖像集中第q幅圖像中P位置的圖像塊;P為每副圖像中圖像塊的位置號，I彡P彡P，I彡q彡Q?！?br> 1-5將人臉訓練樣本圖像集中各圖像塊按列矢量形式存儲，每個圖像塊對應一個列矢量，列矢量中各元素為該矢量所對應的圖像塊中各像素點的灰度值，那么，高分辨率人臉訓練樣本圖像塊可表示為B2Xl維的列矢量，低分辨率人臉訓練樣本圖像塊可表示為b2X I維的列矢量。采用步驟1-3的方法將待處理人臉圖像和人臉訓練樣本圖像對齊后進行分塊，取待處理人臉圖像塊和人臉訓練樣本圖像塊相同像素點的位置信息作為位置先驗信息。根據(jù)人臉訓練樣本圖像集中各圖像塊的位置先驗信息，選取相同位置上的所有低分辨率人臉訓練樣本圖像塊的矢量集作為低分辨率稀疏表示子字典，即時μ μ P)，其中，Df表示P位置的低分辨率稀疏表示子字典#表示每幅圖像劃分的圖像塊的數(shù)量。根據(jù)人臉訓練樣本圖像集中各圖像塊的位置先驗信息，選取相同位置上的所有高分辨率人臉訓練樣本圖像塊的矢量集作為高分辨率稀疏表示子字典，即其中^表示P位置的高分辨率稀疏表不子字典；P表不每幅圖像塊的數(shù)量。步驟S2 :利用低分辨率字典對待處理圖像塊的K近鄰進行稀疏表示，得到待處理圖像塊的K近鄰稀疏編碼均值。待處理圖像塊的K近鄰稀疏編碼均值可《f]由待處理圖像塊近鄰塊k的稀疏編碼系數(shù)ap,k加權(quán)平均得到，具體為￡[ 11 =Σ Ρ At(()
k^Np其中，ap,k是待處理圖像塊P的近鄰塊k的稀疏編碼系數(shù)；ωρ1 是待處理圖像塊P的近鄰塊k的稀疏編碼系數(shù)的權(quán)重；NP表示待處理圖像塊P的K個近鄰塊組成的集合，k e Np0近鄰塊是指低分辨率冗余字典中與待處理圖像塊歐氏距離最小的K個圖像塊，K根據(jù)經(jīng)驗取值。本具體實施中K=5。待處理圖像塊的近鄰塊k的稀疏編碼系數(shù)a p，k采用以下公式計算獲得apk = arg min(7)其中，表示待處理圖像塊P的近鄰塊k 表示待處理圖像塊P對應的P位置的低分辨率稀疏表示子字典；λ是用于平衡稀疏約束項和保真項的正則化參數(shù)，取值根據(jù)噪聲大小變化而不同，噪聲越大，λ取值越大，在高斯噪聲情況下，取高斯噪聲方差的1/10。式(7)中等號右側(cè)第一項為保真項，第二項為稀疏約束項。這里采用LI范數(shù)約束最小二乘法求解式(7)，從而得到待處理圖像塊P的近鄰塊k的稀疏編碼系數(shù)ap,k。待處理圖像塊的近鄰塊k的稀疏編碼系數(shù)權(quán)重ωρ1 為OJrk = exp(-||/f - If!; J' // )/(’《其中，/f表示待處理圖像在p位置的圖像塊，即待處理圖像塊；表示待處理圖像塊P的近鄰塊k ;h為常數(shù)，h>0，其值取決于期望的稀疏編碼系數(shù)權(quán)重的分布幅度，期望的稀
疏編碼系數(shù)權(quán)重的分布幅度大，則h取值大；本實施例中h=io ;c為歸一化。||社-/,6|用于
計算/f和/匕的歐氏距離。步驟S3 :基于稀疏先驗和待處理圖像塊的K近鄰稀疏編碼均值約束實現(xiàn)待處理圖像塊的的稀疏表示，得到待處理圖像塊的稀疏編碼系數(shù)。待處理圖像塊的稀疏編碼系數(shù)<，采用以下公式計算獲得
apL =3Γαηι η|/；! -/^<|[ +/l||<|| +^||< -/；[<]||^'9)其中，/f表示待處理圖像在P位置的圖像塊，即待處理圖像塊表示待處理圖像±夾打?qū)腜位置的低分辨率稀疏表示子字典為待處理圖像塊P的K近鄰稀疏編碼均值；λ是用于平衡稀疏約束項和保真項的正則化參數(shù)，取值根據(jù)噪聲大小變化而不同，噪聲越大，λ取值越大，在高斯噪聲情況下，取高斯噪聲方差的1/10 ;β為K近鄰稀疏編碼均值的約束參數(shù)，其取值跟輸入圖像塊的噪聲水平有關，噪聲越大其取值越大，β的取值決定著K近鄰稀疏編碼均值約束項在目標函數(shù)求解過程中發(fā)揮作用的大小，β >0，本實施例中β取O. I ;lp表示介于第一范數(shù)和第二范數(shù)之間的范數(shù)范數(shù)，I < Ip < 2。式(9)中等號右側(cè)第一項為保真項，第二項為稀疏約束項，第三項為K近鄰稀疏編碼均值約束項。為了能夠利用LI范數(shù)約束最小二乘法對上式進行求解，將式(9)變換為af = arg mi η ||ζ - Saj; +λ aj' [(10)
(jp ) f np\其中，Z=L,S= L 。
{βΕ[αη) {-β)采用LI范數(shù)約束最小二乘法對求解式(10)得到待處理圖像塊的稀疏編碼系數(shù)α', ο步驟S4 :根據(jù)待處理圖像塊的稀疏編碼系數(shù)和待處理圖像塊對應位置的高分辨率稀疏表示子字典，通過系數(shù)映射對待處理圖像塊進行高分辨率圖像塊重建，將重建的高分辨率圖像塊交疊平均得到高分辨率人臉圖像。將一待處理人臉劃分為若干圖像塊后，針對各圖像塊分別進行步驟S2飛3，分別得到各圖像塊的稀疏編碼系數(shù)《根據(jù)各圖像塊的稀疏編碼系數(shù)義和該圖像塊對應位置的高分辨率稀疏表示子字典對各圖像塊分別進行高分辨率圖像塊重建。本實施例是通過系數(shù)映射完成高分辨率圖像塊重建，該重建過程采用如下公式Ph = DvHalUl)其中表示待處理圖像塊重建后得到的高分辨率圖像塊；％表示待處理圖像塊對應位置的高分辨率稀疏表示子字典；《 為待處理圖像塊的稀疏編碼系數(shù)。完成各高分辨率圖像塊的重建后，將所有的重建的高分辨率圖像塊在相鄰處進行交疊平均得到高分辨率人臉圖像。圖2為本實施例的主觀效果對比圖，圖2 (a)為上述實施例中的部分測試圖像，即待處理的低分辨率人臉圖像，圖2 (b)為采用雙三次方插值方法處理圖2 (a)中人臉圖像的結(jié)果圖像，圖2 (C) (e)分別為采用Ma方法、Jung方法和本發(fā)明方法處理圖2 (a)中人臉圖像的結(jié)果圖像，圖2 (f)為圖2 (a)中測試圖像所對應的原始高分辨率人臉圖像。從圖中可以明顯看出，采用雙三次方插值方法處理的結(jié)果圖像比較平滑，但是圖像卻不夠清晰，無法滿足辨識的需要。Ma方法和Jung方法都是基于塊位置的人臉超分辨率方法，較之雙三次插值方法，該兩種方法的結(jié)果圖像的清晰度有了明顯改進，但是在重建的結(jié)構(gòu)圖像的輪廓邊緣都有明顯的鬼影效應。Ma方法在重建的人臉圖像的局部上有較明顯的人工現(xiàn)象。本發(fā)明提出的基于位置塊集中稀疏表示的人臉超分辨率方法明顯地改善了重建結(jié)果圖像的清晰度，也減少了重建帶來的人工現(xiàn)象和鬼影效果?！?br> 表I為本實施例的客觀質(zhì)量對比表，較之比較算法，本發(fā)明在客觀質(zhì)量方面具有更低的均方誤差(RMSE)，更高的峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSM)，表明本發(fā)明方法重建的結(jié)果圖像更接近于原始的高分辨率圖像，因此本發(fā)明方法重建的結(jié)果圖像更逼真。表I本發(fā)明方法和其他現(xiàn)有方法的客觀質(zhì)量比較結(jié)果
~雙二;次插值 Ma方法Jung方法本發(fā)明方法~RMSE22.537411.364510.576910.5331 PSNR 21.1096 27.1390 27.7531 27.8354 SSIM 0.5941 0.8605 0.8724 0.8785為了驗證本發(fā)明方法對噪聲的魯棒性，采用具有不同噪聲水平的低分辨率圖像作為待處理圖像。所采用的低分辨率圖像的高斯噪聲方差分別為10、12和14，測試算法中的正則化參數(shù)λ和約束參數(shù)β都采用固定參數(shù)。采用雙三次插值(Bicubic)、Ma、Jung和本發(fā)明方法對高斯噪聲方差分別為10、12和14的低分辨率圖像進行超分辨率處理，所得到的重建結(jié)果圖像的PSNR值見圖3。從圖中可以看出，不管是哪種噪聲水平，本發(fā)明方法均取得了最高的PSNR值，表明，較之參照算法，本發(fā)明方法對噪聲具有更強的魯棒性。
權(quán)利要求
1.基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于，包括以下步驟 步驟一，對待處理人臉圖像和人臉訓練樣本圖像進行分塊得到待處理人臉圖像塊和人臉訓練樣本圖像塊，所述的人臉訓練樣本圖像包括高分辨率人臉訓練樣本圖像和低分辨率人臉訓練樣本圖像； 步驟二，根據(jù)步驟一所得各圖像塊的位置先驗信息，對人臉訓練樣本圖像塊進行聚類，分別獲得各相應位置的高分辨率稀疏表示子字典和低分辨率稀疏表示子字典，所述的位置先驗信息為待處理人臉圖像塊和各人臉訓練樣本圖像塊在相同像素點上的位置信息； 步驟三，利用低分辨率稀疏表示子字典對待處理人臉圖像塊的K近鄰進行稀疏表示，獲得待處理圖像塊的K近鄰稀疏編碼均值； 步驟四，基于稀疏先驗和待處理圖像塊的K近鄰稀疏編碼均值約束實現(xiàn)待處理圖像塊 的稀疏表示，獲得待處理圖像塊的稀疏編碼系數(shù)； 步驟五，根據(jù)待處理圖像塊的稀疏編碼系數(shù)和其對應位置的高分辨率稀疏表示子字典對待處理圖像塊進行高分辨率圖像塊重建； 步驟六，根據(jù)重建的高分辨率圖像塊獲取高分辨率人臉圖像。
2.權(quán)利要求I所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟一中所述的低分辨率人臉訓練樣本圖像由所述的高分辨率人臉訓練樣本圖像經(jīng)過降質(zhì)處理得到。
3.權(quán)利要求I所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟一進一步包括以下子步驟 1-1將待處理人臉圖像和各人臉訓練樣本圖像進行大小歸一化處理，所述的人臉訓練樣本圖像包括高分辨率人臉訓練樣本圖像和低分辨率人臉訓練樣本圖像； 1-2選取若干人臉特征點，根據(jù)選取的人臉特征點將待處理人臉圖像、各人臉訓練樣本圖像對齊； 1-3將對齊后的待處理人臉圖像和各人臉訓練樣本圖像進行分塊得到待處理人臉圖像塊和人臉訓練樣本圖像塊，所述的人臉訓練樣本圖像塊包括高分辨率人臉訓練樣本圖像塊和低分辨率人臉訓練樣本圖像塊。
4.權(quán)利要求3所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟1-2中采用仿射變換將待處理人臉圖像、各人臉訓練樣本圖像對齊。
5.權(quán)利要求I所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟二進一步包括以下子步驟 2-1將步驟一所得人臉訓練樣本圖像塊中每個圖像塊中展開成一個列矢量，列矢量中的每個元素對應著該圖像塊中各像素點的灰度值，所有的低分辨率人臉訓練樣本圖像塊所對應的列矢量組成低分辨率人臉訓練樣本圖像塊矢量集，所有的高分辨率人臉訓練樣本圖像塊所對應的列矢量組成高分辨率人臉訓練樣本圖像塊矢量集；2-2根據(jù)各圖像塊的位置先驗信息，選取相同位置上的低分辨率人臉訓練樣本圖像塊矢量集作為該位置的低分辨率稀疏表示子字典，所述的位置先驗信息為待處理人臉圖像塊和各人臉訓練樣本圖像塊在相同像素點上的位置信息； 2-3根據(jù)各圖像塊的位置先驗信息，選取相同位置上的高分辨率人臉訓練樣本圖像塊矢量集作為該位置的高分辨率稀疏表示子字典，所述的位置先驗信息為對齊后的待處理人臉圖像塊和各人臉訓練樣本圖像塊在相同像素點上的位置信息。
6.權(quán)利要求I或2所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟三中所述的待處理圖像塊的K近鄰稀疏編碼均值可af]為
7.權(quán)利要求1、2或5所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟四中所述的待處理圖像塊的稀疏編碼系數(shù)《 *通過下式求得
8.權(quán)利要求7所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 將所述的
9.權(quán)利要求I所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟五中采用系數(shù)映射將待處理圖像塊進行高分辨率圖像塊重建。
10.權(quán)利要求I所述的基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，其特征在于 步驟六具體為將重建的高分辨率圖像塊在相鄰處進行交疊平均即可得到高分辨率人臉圖像。
全文摘要
本發(fā)明公開了一種基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法，本發(fā)明涉及圖像分辨率處理技術領域，尤其涉及一種基于K近鄰稀疏編碼均值約束的人臉超分辨率處理方法。本發(fā)明根據(jù)人臉塊位置先驗信息，對訓練樣本圖像塊進行聚類，得到相應位置的高低分辨率稀疏表示字典對；利用低分辨率字典對輸入圖像塊的K近鄰進行稀疏表示，得到稀疏編碼均值；基于稀疏先驗和K近鄰稀疏編碼均值約束實現(xiàn)低分辨率圖像塊的稀疏表示，通過系數(shù)映射實現(xiàn)高分辨率圖像塊重建，最終交疊平均得到高分辨率人臉圖像。本發(fā)明方法在保持重建人臉圖像相似度的基礎上，改善了人臉圖像的清晰度，增強了超分辨率圖像的質(zhì)量。
文檔編號G06K9/00GK102902961SQ20121036273
公開日2013年1月30日 申請日期2012年9月21日 優(yōu)先權(quán)日2012年9月21日
發(fā)明者胡瑞敏, 黃克斌, 韓鎮(zhèn), 江俊君, 盧濤, 夏洋, 陳亮 申請人:武漢大學