專利名稱：基于凸優(yōu)化的人臉超分辨率方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及人臉超分辨率方法，可用于視頻會(huì)議、新聞廣 播、人臉識(shí)別和視頻監(jiān)控。
背景技術(shù)：
人臉被普遍認(rèn)為是在圖像處理領(lǐng)域中最有研究價(jià)值的物體，在現(xiàn)實(shí)社會(huì)有廣泛的 應(yīng)用，如視頻會(huì)議、新聞廣播、人臉識(shí)別、視頻監(jiān)控等都主要以人臉為主。由于人臉是一種極 為復(fù)雜的，多維的模式，容易受位置、方向、光照條件和面部表情等方面的影響，再加上人們 對(duì)人臉的熟悉和敏感，因此對(duì)于人臉的研究相對(duì)比較困難。但是獲取清晰、高分辨率的人臉 圖像是人臉處理系統(tǒng)必不可少的一步，而視頻設(shè)備中獲取的人臉圖像往往是非常小的，這 種低分辨率的圖像在工程中很難直接應(yīng)用，從而成為人臉識(shí)別的最大障礙之一。人臉超分辨率技術(shù)是一種從低分辨率人臉圖像中獲取對(duì)應(yīng)的高分辨率人臉圖像 的技術(shù)。對(duì)于人臉圖像，由于每個(gè)人的圖像都是由眉毛、眼睛、鼻子等器官組成，各個(gè)面部器 官都呈現(xiàn)出特定的紋理特征。而且，經(jīng)過人臉對(duì)齊后，可以近似認(rèn)為每張圖片中的每個(gè)器官 所處的位置是大致相同的。由于這種結(jié)構(gòu)的特征，Baker和Kanade于2000年第一次提出 了人臉超分辨率(Hallucinating Faces)的概念，使得人臉超分辨率重構(gòu)從圖像的超分辨 率技術(shù)中分離出來，作為一個(gè)相對(duì)獨(dú)立的研究領(lǐng)域，在Baker和Kanade提出的方法中，他們 選擇人臉圖像的高斯金字塔的水平與垂直方向的導(dǎo)數(shù)和拉普拉斯金字塔，作為人臉圖像的 特征空間，但是得到的超分辨率人臉圖像在有些部位存在較大的噪聲。為了解決這一問題， 主要有以下幾種現(xiàn)有算法。文獻(xiàn)[1] 2002年W. T. Freeman等人提出了基于例子的圖像超分辨率方法， (W. T. Freeman, Τ. R. Jones, and Ε. C. Pasztor. Example-based super-resolution. IEEE Computer Graphics and Applications, Vol. 22, lssue2，2002)該方法利用馬爾可夫網(wǎng)絡(luò) 來學(xué)習(xí)訓(xùn)練庫中與低分辨率圖像不同區(qū)域相對(duì)應(yīng)的高分辨率率圖像的細(xì)節(jié)，再用學(xué)習(xí)得到 的關(guān)系來預(yù)測輸入低分辨率圖像的細(xì)節(jié)信息，但這種馬爾可夫網(wǎng)絡(luò)的學(xué)習(xí)方法仍然丟失了 很多圖像信息。文獻(xiàn)[2]2004 年 Hong Chang 等人提出 了鄰域嵌入算法(H. Chang, D. -Y. Yeung, and Y. Xiong. Super-resolutionthrongh neighbor embedding. CVPR, 2004.),在該算法中， 假設(shè)高、低分辨率圖像具有相似的流行結(jié)構(gòu)，將低分辨率率空間的權(quán)值運(yùn)用于高分辨率空 間，重構(gòu)出高分辨率圖像。但是，這種假設(shè)并不成立，算法具有不穩(wěn)定性，獲得的超分辨率人 臉圖像質(zhì)量不夠理想。文獻(xiàn)[3] 2010年，Xiang Ma等人提出了基于位置塊的人臉超分辨率方法(X. Ma, J. Zhang,C. Qi,Hullucinating face by position-patch. Pattern Recognition,2010),他 利用凸最小二乘算法重構(gòu)每一個(gè)圖像塊，重構(gòu)精度不夠高，獲得的超分辨率人臉圖像質(zhì)量 也不夠理想。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服上述已有技術(shù)的不足，提出了一種基于凸優(yōu)化的人臉超分 辨率方法，以提高超分辨率人臉圖像的質(zhì)量。為實(shí)現(xiàn)上述目的，本發(fā)明包括如下步驟(1)輸入高分辨率人臉圖像訓(xùn)練集{Hm}，m = 1，2，. . .，M，對(duì)高分辨率的人臉圖像 進(jìn)行模糊和下采樣，得到低分辨率的人臉圖像訓(xùn)練集{Lm}，m= 1，2，...，M，然后將高、低 分辨率的人臉圖像訓(xùn)練集分別劃分為相互重疊的圖像塊評(píng)和，m = 1， 2，. . .，M，M表示高、低分辨率的人臉圖像訓(xùn)練集中人臉圖像的個(gè)數(shù)，N表示劃分的圖像塊的 個(gè)數(shù)，(i，j)表示在人臉圖像中位于第i行j列的圖像塊的位置信息；(2)輸入測試低分辨率人臉圖像I，按照與低分辨率人臉圖像訓(xùn)練集相同的劃分 塊的方式，把測試低分辨率人臉圖像I表示成相互重疊的圖像塊{/"(/,7+)}=;(3)對(duì)于步驟(2)中測試低分辨率人臉圖像的每一個(gè)圖像塊Ik(i，j), k = 1， 2，. . .，N，通過如下凸優(yōu)化函數(shù)求解出其對(duì)于低分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相同位置的 圖像塊的重構(gòu)系數(shù)xk:min| |xk| I1 subject to Ik (i，j) = AkXk其中Ik(i，j)表示測試低分辨率人臉圖像第k個(gè)圖像塊，(i，j)表示第k個(gè)圖像 塊在人臉圖像中的位置，Ak表示一個(gè)矩陣，其每一列由低分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相 同位置的圖像塊 Lmk(i，j)組成，m= l，2，...，M，k= 1，2，...，N;(4)利用步驟(3)中求出的重構(gòu)系數(shù)Λ與高分辨率人臉圖像訓(xùn)練集中對(duì) 應(yīng)相同位置的圖像塊Hmk(i，j), m = 1,2, ...，M加權(quán)合成超分辨率人臉圖像塊Sk:
M
Sk=YjHmk(IJ)-Xk ,],= 1,2,...,^ ；
W=I(5)將所有合成的超分辨率人臉圖像塊，按照其在人臉圖像中的位置組成整體的 人臉圖像，得到超分辨率的人臉圖像。本發(fā)明由于使用了優(yōu)化函數(shù)來求解每一個(gè)人臉圖像塊的重構(gòu)系數(shù)，因而與現(xiàn)有方 法相比具有以下優(yōu)點(diǎn)1)節(jié)省了運(yùn)算時(shí)間，降低了運(yùn)算的復(fù)雜度；2)提高了重構(gòu)精度，提升了超分辨率圖像的質(zhì)量。


圖1是本發(fā)明的流程圖；圖2是本發(fā)明與現(xiàn)有方法比較PSNR值的示意圖；圖3是本發(fā)明與現(xiàn)有方法比較的視覺效果圖。
具體實(shí)施例方式下面參照?qǐng)D1對(duì)本發(fā)明作詳細(xì)說明步驟1 輸入高、低分辨率人臉圖像訓(xùn)練集，并表示成圖像塊的形式。輸入的人臉圖像為CMU PIE人臉數(shù)據(jù)庫的正面人臉圖片，CMU PIE人臉數(shù)據(jù)庫由 14 張正面人臉組成，總共有68個(gè)不同的人，每個(gè)人有21張?jiān)诓煌墓庹諚l件下獲取的圖片，其中每一張圖片的尺寸均為100*100，且均經(jīng)過標(biāo)準(zhǔn)化處理；為了保證算法的有效性，本發(fā)明隨機(jī)選擇30個(gè)人的630張圖片作為高分辨率人臉 圖像訓(xùn)練集{Hm}，m= 1，2，...，M，其余的作為測試圖像，按照這種方法隨機(jī)分成10組。對(duì) 于高分辨率人臉圖像訓(xùn)練集中的每張圖片進(jìn)行模糊和下采樣，得到的圖像集作為低分辨率 人臉圖像訓(xùn)練集{Lm}，m= 1，2，...，M，M表示高、低分辨率的人臉圖像訓(xùn)練集中人臉圖像 的個(gè)數(shù)，在本實(shí)施例中M = 630，但不限于630，低分辨率人臉圖像的大小為25X25 ；對(duì)于輸入的高、低分辨率的人臉圖像訓(xùn)練集通過以下方法分別劃分為相互重疊的 圖像塊{/^(/,/(。和丨斤(/,_/+)，m = 1,2,..., M，N表示劃分的圖像塊的個(gè)數(shù)，(i，j)表 示在人臉圖像中位于第i行第j列的圖像塊的位置信息假設(shè)人臉圖像的放大倍數(shù)為a，低分辨率人臉圖像劃分的圖像塊大小為ηΧη，對(duì) 應(yīng)的高分辨率人臉圖像劃分的圖像塊的大小為低分辨率人臉圖像塊的a倍的條件下，將低 分辨率圖像塊重疊區(qū)域的大小設(shè)置為n/3，將高分辨率圖像塊重疊區(qū)域大小設(shè)置為an/3， 在本實(shí)施例中η = 3，a = 4。步驟2 輸入測試低分辨率人臉圖像，并表示成圖像塊的形式。輸入測試低分辨率人臉圖像I，按照與步驟1所述的低分辨率人臉圖像訓(xùn)練 集中的圖像相同的劃分圖像塊方式進(jìn)行劃分圖像塊，并表示成相互重疊的圖像塊形式 {/、,_/+)}[，N表示劃分的圖像塊的個(gè)數(shù)，(i，j)表示在人臉圖像中位于第i行j列的圖像 塊的位置信息。步驟3 利用凸優(yōu)化方法，求解每一個(gè)測試低分辨率人臉圖像塊的重構(gòu)系數(shù)。對(duì)于步驟O)中測試低分辨率人臉圖像的每一個(gè)圖像塊Ik(i，j), k= 1,2,..., N，通過如下凸優(yōu)化函數(shù)求解出其對(duì)于低分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相同位置的圖像塊 的重構(gòu)系數(shù)Xk(圖像塊以列向量形式表示)min| |xk| I1 subject to \\ Ik(iJ)- Akxk其中Ik(i，j)表示測試低分辨率人臉圖像第k個(gè)圖像塊，Ak表示一個(gè)矩陣，該矩 陣的每一列由低分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相同位置的圖像塊Lmk(i，j)組成，m= 1， 2，. . .，M，k = 1，2，. . .，N，ε表示容錯(cuò)參數(shù)，ε > 0。在本實(shí)施例中采用基追蹤算法求解 此優(yōu)化函數(shù)，但不限于該算法，例如正交匹配追蹤算法、梯度投影算法和Lasso算法等；步驟4 重構(gòu)超分辨率人臉圖像塊。利用步驟3中求出的重構(gòu)系數(shù)xk，與高分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相同位置的
M
圖像塊Hmk(i，j)加權(quán)合成超分辨率人臉圖像塊..Sk=YjHmk^fyxk = 1，2，...，N ;m =
w=l
1,2,…，Μ。步驟5 合成整體的超分辨率人臉圖像。將步驟4所得到的所有的超分辨率人臉圖像塊Sk，k = 1，2，. . .，N，按照每一個(gè)圖 像塊在人臉圖像中的位置拼接在一起，并對(duì)于圖像塊的重疊部分通過求均值作為它的像素 值，從而得到整體的超分辨率人臉圖像。本發(fā)明的效果通過以下仿真進(jìn)一步說明1、仿真條件與內(nèi)容使用CMU PIE人臉數(shù)據(jù)庫進(jìn)行人臉超分辨率實(shí)驗(yàn)，該數(shù)據(jù)庫由14 張正面人臉組成，總共有68個(gè)不同的人，每個(gè)人包括21張圖片，均在不同的時(shí)間，不同的光照條件拍攝獲 得，拍攝的人臉圖有不同的面部表情，其中每一張圖片的尺寸均為100*100，且均經(jīng)過標(biāo)準(zhǔn) 化處理。在實(shí)驗(yàn)中，本發(fā)明隨機(jī)選取30個(gè)人的630張圖片作為訓(xùn)練圖片，其余的作為測試 圖片，按照這種方法隨機(jī)分成10組。
軟件平臺(tái)為MATLAB7. 12、仿真結(jié)果本發(fā)明在CMU PIE人臉數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，進(jìn)行仿真比較，為了驗(yàn)證本發(fā)明的有效 性，本實(shí)驗(yàn)對(duì)測試樣本的PSNR值和SSIM值進(jìn)行比較，PSNR表示峰值信噪比，其值越高圖像 質(zhì)量越好，SSIM表示結(jié)構(gòu)相似度，其值越高與真實(shí)圖像越接近，對(duì)所有實(shí)驗(yàn)結(jié)果取平均值， 實(shí)驗(yàn)結(jié)果如表1所示。表1用本方法與現(xiàn)有方法在PIE人臉數(shù)據(jù)庫的實(shí)驗(yàn)結(jié)果對(duì)比
權(quán)利要求
1.一種基于凸優(yōu)化的人臉超分辨率方法，包括如下步驟(1)輸入高分辨率人臉圖像訓(xùn)練集{Hm}，m= 1，2，. . .，M，對(duì)高分辨率的人臉圖像進(jìn)行 模糊和下采樣，得到低分辨率的人臉圖像訓(xùn)練集{Lm}，m = 1,2,...，M，然后將高、低分辨率 的人臉圖像訓(xùn)練集分別劃分為相互重疊的圖像塊評(píng)·和，m = 1,2,..., Μ, M表示高、低分辨率的人臉圖像訓(xùn)練集中人臉圖像的個(gè)數(shù)，N表示劃分的圖像塊的個(gè)數(shù)， (i，j)表示在人臉圖像中位于第i行j列的圖像塊的位置信息；(2)輸入測試低分辨率人臉圖像I，按照與低分辨率人臉圖像訓(xùn)練集相同的劃分塊的 方式，把測試低分辨率人臉圖像I表示成相互重疊的圖像塊(3)對(duì)于步驟(2)中測試低分辨率人臉圖像的每一個(gè)圖像塊Ik(i，j)，k=1，2，...，N， 通過如下凸優(yōu)化函數(shù)求解出其對(duì)于低分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相同位置的圖像塊的 重構(gòu)系數(shù)Xk min| |xk| I1 subject to Ik (i, j) =AkXk其中Ik(i，j)表示測試低分辨率人臉圖像第k個(gè)圖像塊，(i，j)表示第k個(gè)圖像塊在 人臉圖像中的位置信息，Ak表示一個(gè)矩陣，其每一列由低分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相 同位置的圖像塊 Lmk(i，j)組成，m= l，2，...，M，k= 1，2，...，N;(4)利用步驟(3)中求出的重構(gòu)系數(shù)xk，與高分辨率人臉圖像訓(xùn)練集中對(duì)應(yīng)相同位置M的圖像塊!fk(i，j)，m = 1，2，. . .，M加權(quán)合成超分辨率人臉圖像塊Sk ..Sk=YjHmk(IJ)-Xk，W=Ik = 1，2，…，N ；(5)將所有合成的超分辨率人臉圖像塊，按照其在人臉圖像中的位置組成整體的人臉 圖像，得到超分辨率的人臉圖像。
2.根據(jù)權(quán)利要求1所述的人臉超分辨率方法，其中步驟(1)所述的將高、低分辨率的人 臉圖像訓(xùn)練集分別劃分為相互重疊的圖像塊評(píng)和，是在假設(shè)人臉圖像 的放大倍數(shù)為a，低分辨率人臉圖像劃分的圖像塊大小為ηΧη，對(duì)應(yīng)的高分辨率人臉圖像 劃分的圖像塊的大小為低分辨率人臉圖像塊的a倍的條件下，將低分辨率圖像塊重疊區(qū)域 的大小設(shè)置為n/3，將高分辨率圖像塊重疊區(qū)域大小設(shè)置為an/3。
3.根據(jù)權(quán)利要求1所述的人臉超分辨率方法，其中步驟( 所述的將所有合成的測試 高分辨率人臉圖像塊，按照其在人臉圖像中的位置組成整體的人臉圖像，是將所有合成的 測試高分辨率人臉圖像塊按照其在人臉圖像中的位置拼接在一起，并對(duì)于圖像塊的重疊部 分通過求均值作為它的像素值。
全文摘要
本發(fā)明公開了一種基于凸優(yōu)化的人臉超分辨率方法，主要解決現(xiàn)有方法所獲取的超分辨率人臉圖像質(zhì)量不高的問題。其實(shí)現(xiàn)步驟為(1)將高、低分辨率人臉圖像訓(xùn)練集和測試低分辨率人臉圖像劃分為圖像塊的形式；(2)對(duì)于每一個(gè)測試低分辨率人臉圖像塊，利用凸優(yōu)化方法求解其在低分辨率人臉圖像訓(xùn)練集對(duì)應(yīng)位置上的圖像塊之間的重構(gòu)系數(shù)；(3)利用低分辨率圖像塊的重構(gòu)系數(shù)，重構(gòu)超分辨率人臉圖像塊，最后合成整體的超分辨率人臉圖像。本發(fā)明提高了超分辨率人臉圖像的質(zhì)量，降低了算法的復(fù)雜度，使其更具有通用性，可用于視頻會(huì)議、公共安全和人臉識(shí)別。
文檔編號(hào)G06K9/62GK102136065SQ20111007560
公開日2011年7月27日 申請(qǐng)日期2011年3月28日 優(yōu)先權(quán)日2011年3月28日
發(fā)明者公茂果, 劉兵, 尚榮華, 李陽陽, 焦李成, 王爽, 鄭喆坤, 馬文萍 申請(qǐng)人:西安電子科技大學(xué)