專利名稱：一種基于pca對(duì)齊的正面人臉圖像超分辨率重建方法
專利說(shuō)明一種基于PCA對(duì)齊的正面人臉圖像超分辨率重建方法 發(fā)明領(lǐng)域 本發(fā)明涉及一種人臉圖像重建方法，特別涉及一種基于PCA對(duì)齊的正面人臉圖像超分辨率重建方法。

背景技術(shù)：
在大多數(shù)數(shù)字圖像的應(yīng)用中，都希望獲得高分辨率的圖像。低分辨率正面人臉圖像的超分辨率重建，可得到帶有很多細(xì)節(jié)信息的高像素正面人臉圖像，便于在如監(jiān)控等多個(gè)領(lǐng)域的應(yīng)用。
正是由于高分辨率圖像的廣泛應(yīng)用，近年來(lái)出現(xiàn)了各種方法來(lái)改善所得圖像質(zhì)量。早期的超分辨率重建方法有雙三次插值，凸集投影法等。近年來(lái)基于學(xué)習(xí)的兩步超分辨率重建方法比較流形，并且取得了很好的效果。即將人臉超分辨率問(wèn)題分解為人臉全局信息與局部細(xì)節(jié)信息的重建兩部分，將全局信息與局部細(xì)節(jié)相加得到最終的高分辨率人臉圖像。兩步法是一個(gè)很好的框架，眾多人臉超分辨率的算法都基于此框架。
圖像超分辨率的核心問(wèn)題是如何建立低分辨率圖像(特征)到高分辨率圖像(特征)之間的對(duì)應(yīng)關(guān)系。因?yàn)镻CA既能大大降低數(shù)據(jù)的維數(shù)，同時(shí)又能很好重建出全局人臉，所以在兩步法的框架下，現(xiàn)有的人臉超分辨率算法中均采用PCA系數(shù)作為全局人臉的特征表達(dá)。因此，重建全局臉的核心問(wèn)題是如何建立低分辨率圖像PCA系數(shù)到高分辨率圖像PCA系數(shù)之間的對(duì)應(yīng)關(guān)系。


發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于PCA對(duì)齊的正面人臉圖像超分辨率重建方法。
為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是 1)首先對(duì)高低分辨率訓(xùn)練圖庫(kù)分別進(jìn)行PCA變換，得各自相應(yīng)的平均臉μH、μL、由正交特征向量組成的本征臉空間PH、PL和高低分辨率訓(xùn)練圖像在各自本征臉空間的投影系數(shù)矩陣XH和XL，并根據(jù)PL求得低分辨率測(cè)試圖像的PCA系數(shù)xl； 2)根據(jù)正交Procrustes Analysis，學(xué)習(xí)得到高低分辨率訓(xùn)練圖像的PCA系數(shù)間的仿射變換矩陣R，根據(jù)該仿射變換矩陣R將xl映射到高分辨率PCA系數(shù)空間，即得到測(cè)試圖像所對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)，最后得到測(cè)試圖像對(duì)應(yīng)的全局臉圖像； 3)參考基于LLE的鄰域重構(gòu)對(duì)上步驟2)得到的全局臉圖像進(jìn)行殘差補(bǔ)償，得到測(cè)試低分辨率圖像對(duì)應(yīng)的超分辨率重建圖像。
所說(shuō)的高、低分辨率PCA系數(shù)之間有下式關(guān)系 XH＝XLR+E 其中，XH為高分辨率訓(xùn)練圖像的PCA系數(shù)矩陣，XL為低分辨率訓(xùn)練圖像的PCA系數(shù)矩陣，R為將要求解的仿射變換矩陣，E為誤差。
所說(shuō)的高低分辨率圖像的PCA系數(shù)間的仿射變換矩陣R是由ProcrustesAnalysis根據(jù)下式求解得到的 R＝kQ 其中k＝trace(QT(XL)TXH)/trace((XL)TXL)，tr(.)表示矩陣的跡，對(duì)(XL)TXH進(jìn)行SVD分解得到(XL)TXH＝U∑VT，令Q＝UVT； 根據(jù)得到的仿射變換矩陣R，則測(cè)試圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)可根據(jù)下式求解得到 xh＝xlR 其中xl＝(Il-μL)PL，Il為低分辨率測(cè)試圖像，PL為低分辯PCA本征臉空間，μL為低分辨率平均臉，xh為重建出的測(cè)試圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)。
本發(fā)明將正面人臉圖像超分辨率重建的問(wèn)題看作是一個(gè)未知響應(yīng)的系統(tǒng)，已知一些對(duì)應(yīng)的輸入和輸出，對(duì)給定一個(gè)輸入，估計(jì)對(duì)應(yīng)的輸出問(wèn)題，并假設(shè)系統(tǒng)為一線性系統(tǒng)，根據(jù)訓(xùn)練數(shù)據(jù)求得系統(tǒng)響應(yīng)，從而獲得低分辨率圖像PCA系數(shù)到高分辨率圖像PCA系數(shù)之間的映射關(guān)系。
當(dāng)要獲得一組對(duì)問(wèn)題世界的觀測(cè)數(shù)據(jù)時(shí)，如果不能或者沒(méi)有必要對(duì)其建立嚴(yán)格物理模型，可以使用數(shù)學(xué)的方法，從這組數(shù)據(jù)推算問(wèn)題世界的數(shù)學(xué)模型，這類模型一般沒(méi)有對(duì)問(wèn)題世界的物理解釋，但是，在輸入輸出直接的關(guān)系上反映了問(wèn)題世界的實(shí)際，這就是“黑箱”原理。
如果不考慮低分辨率人臉圖像的成像原理，而單純將高低分辨率人臉圖像PCA系數(shù)作為一個(gè)未知系統(tǒng)響應(yīng)的對(duì)應(yīng)的輸出和輸入數(shù)據(jù)，則在兩步法框架下，全局臉重建的問(wèn)題可轉(zhuǎn)化為如何估計(jì)該系統(tǒng)的響應(yīng)問(wèn)題。
對(duì)通常的超分辨率問(wèn)題，直接通過(guò)黑箱原理建立低分辨率圖像特征到高分辨率圖像特征之間的映射是不現(xiàn)實(shí)的。但正面人臉圖像超分辨率是一個(gè)特殊問(wèn)題，人臉圖像具有規(guī)則的結(jié)構(gòu)特征，在預(yù)處理過(guò)程中進(jìn)行了對(duì)準(zhǔn)和歸一化，使得在相同位置上的數(shù)據(jù)具有相似特征，使用PCA又大地降低了數(shù)據(jù)維數(shù)，這些都極大地壓縮了解空間，使得估計(jì)該逆系統(tǒng)的響應(yīng)成為可能。
基于以上分析和認(rèn)識(shí)，進(jìn)一步假設(shè)該系統(tǒng)為一線性系統(tǒng)，則全局臉重建的問(wèn)題即轉(zhuǎn)化為如何建立高低分辨率訓(xùn)練集在PCA空間的投影系數(shù)XH、XL間的映射關(guān)系。
本發(fā)明第一步重建出測(cè)試低分辨率圖像的中低頻信息(全局結(jié)構(gòu))，首先分別對(duì)高低分辨率訓(xùn)練圖像庫(kù)進(jìn)行PCA變換，并根據(jù)仿射變換建立高低分辨率PCA系數(shù)間的映射矩陣，再根據(jù)此映射矩陣重建出測(cè)試低分辨率圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)，最后得到其對(duì)應(yīng)的高分辨率全局臉圖像；第二步重建高頻信息(細(xì)節(jié)信息)，根據(jù)基于LLE的鄰域重構(gòu)法對(duì)全局臉圖像進(jìn)行殘差補(bǔ)償，最終得到測(cè)試圖像對(duì)應(yīng)的超分辨率重建圖像。



所包括的附圖用于提供對(duì)本發(fā)明的進(jìn)一步理解，并構(gòu)成本申請(qǐng)的一部分，所屬

了本發(fā)明的實(shí)施例，與文字說(shuō)明一起用來(lái)解釋本發(fā)明。
圖1(a)，1(b)，1(c)，1(d)，1(e)是效果圖，它給出了采用CAS PEAL人臉數(shù)據(jù)庫(kù)時(shí)，本發(fā)明與其它兩種超分方法的第一步全局臉結(jié)果的對(duì)比。從上到下每行分別對(duì)應(yīng)圖1(a)原始高分辨率圖像，圖1(b)低分辨率圖像，圖1(c)本發(fā)明的全局臉結(jié)果，圖1(d)莊的方法的全局臉的結(jié)果，圖1(e)劉的方法的全局臉結(jié)果。
圖2(a)，2(b)，2(c)，2(d)，2(e)，2(f)是效果圖，它給出了采用CAS PEAL人臉數(shù)據(jù)庫(kù)時(shí)，本發(fā)明與其它三種超分方法的超分辨率重建結(jié)果的對(duì)比。從上到下每行分別對(duì)應(yīng)圖2(a)原始高分辨率圖像，圖2(b)低分辨率圖像，圖2(c)本發(fā)明的超分結(jié)果，圖2(d)莊的方法的超分結(jié)果，圖2(e)劉的方法的超分結(jié)果，圖2(f)王的方法的超分結(jié)果。
圖3是效果圖，它給出了采用CAS_PEAL人臉數(shù)據(jù)庫(kù)時(shí)，本發(fā)明與其它三種超分方法對(duì)40幅測(cè)試圖像進(jìn)行超分后各方法超分結(jié)果的PSNR值對(duì)比盒圖。此盒圖描述了每個(gè)方法的40個(gè)超分結(jié)果的PSNR值的四分位數(shù)、中位數(shù)、第三四分位數(shù)與最大值。

具體實(shí)施例方式 下面將根據(jù)附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
本發(fā)明主要分為四個(gè)步驟 1)首先對(duì)高低分辨率訓(xùn)練圖庫(kù)分別進(jìn)行PCA變換，得到各自相應(yīng)的平均臉μH、μL、由正交特征向量組成的本征臉空間PH、PL和高低分辨率訓(xùn)練圖像在各自本征臉空間的投影系數(shù)矩陣XH和XL。并求得低分辨率測(cè)試圖像的PCA系數(shù)xl； 2)根據(jù)正交Procrustes Analysis，學(xué)習(xí)得到高低分辨率訓(xùn)練圖像的PCA系數(shù)間的仿射變換矩陣R，根據(jù)R將xl映射到高分辨率PCA系數(shù)空間，即得到測(cè)試圖像所對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)，最后得到測(cè)試圖像對(duì)應(yīng)的全局臉圖像； 3)參考LLE對(duì)上步驟2)得到的全局臉圖像進(jìn)行殘差補(bǔ)償，得到測(cè)試低分辨率對(duì)應(yīng)的超分辨率重建圖像。
本發(fā)明的第一步首先對(duì)高低分辨率圖像訓(xùn)練庫(kù)Ih、Il，利用PCA，得到各自相應(yīng)的平均臉μH、μL，由正交特征向量組成的本征臉空間PH、PL，和高低分辨率訓(xùn)練圖像在各自本征臉空間的投影系數(shù)


其中各投影系數(shù)可用下式求得 [式1] 上式中IiH為高分辨率訓(xùn)練庫(kù)中第i幅圖像，IiL為低分辨率訓(xùn)練圖像庫(kù)中第i幅圖像。xiH為第i幅高分辨率訓(xùn)練圖像的PCA系數(shù)，xiL為第i幅低分辨率訓(xùn)練圖像的PCA系數(shù)。
對(duì)于對(duì)應(yīng)的高低分辨率圖像的PCA系數(shù)，本發(fā)明提出下式 [式2] XH＝XLR+E 上式中XH為高分辨率訓(xùn)練圖像的PCA系數(shù)矩陣，XL為低分辨率訓(xùn)練圖像的PCA系數(shù)矩陣，R為將要求解的仿射變換矩陣，E為誤差； R的求解參考Procrustes analysis，由下式求得 [式3] R＝kQ 可通過(guò)下式求解k [式4] k＝trace(QT(XL)TXH)/trace((XL)TXL) 上式中tr(.)表示矩陣的跡。
可通過(guò)下式求解Q [式5] Q＝UVT [式6] (XL)TXH＝U∑VT 首先通過(guò)下式先求得低分辨率測(cè)試圖像的PCA系數(shù) [式7] xl＝(Il-μL)PL 上式中PL為低分辯PCA本征臉空間，μL為低分辨率平均臉，Il為低分辨率測(cè)試圖像； 接著通過(guò)下式重建出低分辨率圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù) [式8] xh＝xlR 上式中xh表示低分辨率測(cè)試圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)，R為從低分辨率圖像的PCA系數(shù)到其對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)間的仿射變換矩陣； 最后可根據(jù)下式求得測(cè)試低分辨率測(cè)試圖像所對(duì)應(yīng)的高分辨率全局臉 [式9] Ih＝xh(PH)T+μH 上式中(PH)T表示高分辨率本征臉的轉(zhuǎn)置，μH表示高分辨率平均臉，xh表示測(cè)試低分辨率圖像所對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)，Ih表示測(cè)試低分辨率圖像所對(duì)應(yīng)的高分辨率全局臉。
最后通過(guò)基于LLE的鄰域重構(gòu)對(duì)高分辨率全局臉圖像Ih進(jìn)行殘差補(bǔ)償，即可得到測(cè)試低分辨率對(duì)應(yīng)的超分辨率重建圖像。
圖1(a)，1(b)，1(c)，1(d)，1(e)是效果圖，它給出了采用CAS_PEAL人臉數(shù)據(jù)庫(kù)時(shí)，本發(fā)明與其它兩種超分方法的第一步全局臉結(jié)果的對(duì)比。圖2(a)，2(b)，2(c)，2(d)，2(e)，2(f)是效果圖，它給出了采用CAS_PEAL人臉數(shù)據(jù)庫(kù)時(shí)，本發(fā)明與其它三種超分方法的超分辨率重建結(jié)果的對(duì)比。圖3是效果圖，它給出了采用CAS_PEAL人臉數(shù)據(jù)庫(kù)時(shí)，本發(fā)明與其它三種超分方法分別對(duì)40幅測(cè)試圖像進(jìn)行超分后，各方法得到的所有40幅超分圖像的PSNR值對(duì)比。從視覺(jué)效果看，本發(fā)明的全局臉結(jié)果很好的得到了人臉的結(jié)構(gòu)信息，較之其它方法實(shí)現(xiàn)簡(jiǎn)單，耗時(shí)短，效果明顯。從圖1和圖2中的視覺(jué)和數(shù)值效果均可看出，本文方法細(xì)節(jié)信息恢復(fù)良好，振鈴噪聲均小于其它三種方法，結(jié)果較接近原始人物。
盡管已經(jīng)參考附圖對(duì)本發(fā)明進(jìn)行了解釋和描述，專業(yè)技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明精神和范圍的情況下，可以在其中或?qū)ζ溥M(jìn)行各種其他改變，增刪。
權(quán)利要求
1.一種基于PCA對(duì)齊的正面人臉圖像超分辨率重建方法，包括以下步驟
1)首先對(duì)高低分辨率訓(xùn)練圖庫(kù)分別進(jìn)行PCA變換，得各自相應(yīng)的平均臉μH、μL、由正交特征向量組成的本征臉空間PH、PL和高低分辨率訓(xùn)練圖像在各自本征臉空間的投影系數(shù)矩陣XH和XL，并根據(jù)PL求得低分辨率測(cè)試圖像的PCA系數(shù)xl；
2)根據(jù)正交Procrustes Analysis，學(xué)習(xí)得到高低分辨率訓(xùn)練圖像的PCA系數(shù)間的仿射變換矩陣R，根據(jù)該仿射變換矩陣R將xl映射到高分辨率PCA系數(shù)空間，即得到測(cè)試圖像所對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)，最后得到測(cè)試圖像對(duì)應(yīng)的全局臉圖像；
3)參考基于LLE的鄰域重構(gòu)對(duì)上步驟2)得到的全局臉圖像進(jìn)行殘差補(bǔ)償，得到測(cè)試低分辨率圖像對(duì)應(yīng)的超分辨率重建圖像。
2.如權(quán)利要求1所述的基于PCA對(duì)齊的正面人臉圖像超分辨率重建方法，其特征在于所說(shuō)的高、低分辨率PCA系數(shù)之間有下式關(guān)系
XH＝XLR+E
其中，XH為高分辨率訓(xùn)練圖像的PCA系數(shù)矩陣，XL為低分辨率訓(xùn)練圖像的PCA系數(shù)矩陣，R為將要求解的仿射變換矩陣，E為誤差。
3.如權(quán)利要求1所述的基于PCA對(duì)齊的正面人臉圖像超分辨率重建方法，其特征在于所說(shuō)的高低分辨率圖像的PCA系數(shù)間的仿射變換矩陣R是由Procrustes Analysis根據(jù)下式求解得到的
R＝kQ
其中k＝trace(QT(XL)TXH)/trace((XL)TXL)，tr(.)表示矩陣的跡，對(duì)(XL)TXH進(jìn)行SVD分解得到(XL)TXH＝U∑VT，令Q＝UVT；
根據(jù)得到的仿射變換矩陣R，則測(cè)試圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)可根據(jù)下式求解得到
xh＝xlR
其中xl＝(Il-μL)PL，Il為低分辨率測(cè)試圖像，PL為低分辯PCA本征臉空間，μL為低分辨率平均臉，xh為重建出的測(cè)試圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)。
全文摘要
一種基于PCA對(duì)齊的正面人臉圖像超分辨率重建方法，采取近期較為流行的兩步法對(duì)圖像進(jìn)行超分辨率重建。第一步重建出測(cè)試低分辨率圖像的中低頻信息(全局結(jié)構(gòu))，首先分別對(duì)高低分辨率訓(xùn)練圖像庫(kù)進(jìn)行PCA變換，并根據(jù)仿射變換建立高低分辨率圖像的PCA系數(shù)間的映射矩陣，接著根據(jù)此映射矩陣重建出測(cè)試低分辨率圖像對(duì)應(yīng)的高分辨率圖像的PCA系數(shù)，最后得到其對(duì)應(yīng)的高分辨率全局臉圖像；第二步重建高頻信息(細(xì)節(jié)信息)，根據(jù)基于LLE的鄰域重構(gòu)對(duì)第一步得到的測(cè)試圖像的高分辨率全局臉圖像進(jìn)行殘差補(bǔ)償，最終得到測(cè)試圖像對(duì)應(yīng)的超分辨率重建圖像。
文檔編號(hào)G06T5/50GK101799919SQ20101014209
公開(kāi)日2010年8月11日 申請(qǐng)日期2010年4月8日 優(yōu)先權(quán)日2010年4月8日
發(fā)明者黃華, 吳寧 申請(qǐng)人:西安交通大學(xué)