專利名稱：基于支撐集驅(qū)動稀疏編碼的人臉圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像超分辨率領(lǐng)域，具體涉及一種基于支撐集驅(qū)動稀疏編碼的人臉圖像超分辨率重建方法。
背景技術(shù)：
人臉超分辨率，或人臉幻構(gòu)，是一種在人臉圖像訓(xùn)練集的幫助下由低分辨率人臉圖像產(chǎn)生高分辨率人臉圖像的技術(shù)。人臉超分辨率常應(yīng)用于視頻監(jiān)控。許多情況下，行人與攝像機(jī)距離較遠(yuǎn)，拍攝到的人臉為低分辨率圖像從而缺乏的面部細(xì)節(jié)特征，而這些特征對于人臉圖像的分析和識別是非常重要的。2000年，Baker和Kanade在文獻(xiàn)I (S. Bakerand T. Kanade. Hallucinating faces.1n FG, Grenoble, France, Mar. 2000, 83-88.)中首次提出人臉超分辨率方法，又叫人臉幻構(gòu)(face hallucination),他們采用貝葉斯方法,利用訓(xùn)練集中人臉圖像的先驗(yàn)信息，通過學(xué)習(xí)的方法獲得低分辨率人臉對應(yīng)的高分辨率圖像，以此來達(dá)到較大的放大倍數(shù)及較好的效果。隨后，Liu等人在文獻(xiàn)2 (C. Liu, H. Y. Shum, andC. S. Zhang. A two-step approach tohallucinating faces:global parametric model andlocal nonparametric model.1n CVPR, pp. 192 - 198, 2001.)中提出人臉重建的兩步法，分別合成人臉的全局信息和局部信息。至此，基于學(xué)習(xí)的人臉圖像超分辨率方法引起了人們的廣泛關(guān)注。Wang等人在文獻(xiàn) 3 (X. Wang and X. Tang. Hallucinating face by eigentransformation[J].1EEETrans. SMC(Part C), 2005, vol. 35, no. 3, pp. 425 - 434.)中提出一種基于特征轉(zhuǎn)換的全局臉超分辨率方法。然而，這種全局臉的方法表達(dá)能力有限，合成出來的圖像通常在人臉輪廓部分存在明顯的重影。還有Chang等人在文獻(xiàn)4 (H. Chang, D. Y. Yeung, and Y. M. Xiong.Super-resolution through neighborembedding.1n CVPR, pp. 275-282，2004.)中指出高低分辨率圖像塊所構(gòu)成的流形空間具有相似局部幾何結(jié)構(gòu)?；谶@一假設(shè)，他們提出一種基于鄰域嵌入的圖像超分辨率重建方法，通過K個近鄰來估計(jì)高分辨率圖像塊。由于其近鄰數(shù)K是固定，因此這種方法在對圖像塊進(jìn)行表示時(shí)會造成過擬合或者擬合不當(dāng)?shù)膯栴}，進(jìn)而導(dǎo)致了重建圖像的邊緣模糊。為了解決這一問題，Yang等人在文獻(xiàn)5(J. Yang, H. Tang, Y.Ma, and T. Huang,“Face hallucination via sparsecoding,，，ICIP,pp. 1264 - 1267, 2008.)中采用了稀疏編碼的方法，自適應(yīng)的選擇與圖像重建最相關(guān)的近鄰塊，獲得了較好的重建效果。由于人臉是一類高度結(jié)構(gòu)化的物體，其位置先驗(yàn)對人臉的表示與合成至關(guān)重要。近來，Ma等人利用人臉圖像位置塊信息，在文獻(xiàn)6 (X. Ma, J. Zhang, andC. Qi, “Position-based facehallucination method, ” ICME, pp. 290 - 293, 2009.)和文獻(xiàn) 7 (X. Ma, J. P Zhang, and C. Q1. Hallucinating face by position-patch. Pattern Recognition, vol. 43，no. 6，pp. 3178 - 3194，2010.)中提出基于位置圖像塊的人臉超分辨率方法，使用訓(xùn)練集中所有與輸入圖像塊同位置的人臉圖像塊重建高分辨率人臉圖像，避免流形學(xué)習(xí)或者特征提取等步驟，提高了重建效率和重建圖像的質(zhì)量。具體而言，對于輸入低分辨率圖像塊，他們利用訓(xùn)練集中相同位置的所有低分辨率圖像塊來最小二乘表示該輸入低分辨率圖像塊，得到表示系數(shù)，再將低分辨率訓(xùn)練圖像塊全部替換成對應(yīng)的高分辨率塊，合成表示保持系數(shù)不變，最后得到高分辨率塊。然而，當(dāng)訓(xùn)練圖像塊的數(shù)目遠(yuǎn)大于圖像塊維數(shù)時(shí)，最小二乘表示的結(jié)果并不唯一。為了解決這一問題，Jung等人在文獻(xiàn)8 (C. Jung, L.Jiao, B. Liu, and M. Gong, “Position-Patch Based FaceHallucination Using ConvexOptimization, ” IEEE Signal Process. Lett. , vol. 18, no. 6, pp. 367 - 370, 2011.)中提出一種基于稀疏表達(dá)的圖像塊表示方法，增加一個關(guān)于表示系數(shù)的稀疏約束項(xiàng)，獲得了穩(wěn)定的解和更好的重建結(jié)果。然而，這種稀疏編碼表示方法所選出來的圖像塊(非零系數(shù)對應(yīng)的圖像塊)與輸入圖像的差異可能非常大，因此它不能正確揭示流形的幾何結(jié)構(gòu)，然而該流形結(jié)構(gòu)對于圖像的表示與分析是至關(guān)重要的。為了挖掘圖像塊流形的局部性，專利I (胡瑞敏、江俊君、王冰、韓鎮(zhèn)、黃克斌、盧濤、王亦民.“一種基于局部約束表示的人臉超分辨率重建方法”申請?zhí)?201110421452. 3)提出一種局部約束表示方法，通過選擇距離近的塊，懲罰距離遠(yuǎn)的塊，同時(shí)達(dá)到稀疏性和局部性。但是該方法并不能達(dá)到真正意義的稀疏，而且需要預(yù)先調(diào)節(jié)局部約束項(xiàng)參數(shù)，它所得到的局部約束表示模型只對某一人臉庫的結(jié)果有效?？傊?，現(xiàn)有圖像塊的表示方法均不是最優(yōu)的。

發(fā)明內(nèi)容
本發(fā)明目的是提供一種基于支撐集驅(qū)動稀疏編碼的人臉圖像超分辨率重建方法，解決現(xiàn)有同類算法不能正確揭示圖像塊流形空間的幾何結(jié)構(gòu)的問題，通過利用流形的空間局部性和自然圖像塊的稀疏性獲得最優(yōu)(穩(wěn)定、精確)的結(jié)果。為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是一種基于支撐集驅(qū)動稀疏編碼的人臉圖像超分辨率重建方法，包括如下步驟步驟1，輸入低分辨率人臉圖像，對輸入的低分辨率人臉圖像、低分辨率訓(xùn)練集中的低分辨率人臉樣本圖像以及高分辨率訓(xùn)練集中的高分辨率人臉樣本圖像劃分相互重疊的圖像塊；步驟2，對于低分辨率人臉圖像每一個位置上的圖像塊，算出在支撐集驅(qū)動稀疏編碼下由低分辨率訓(xùn)練集中所有低分辨率人臉樣本圖像該位置上的圖像塊對它進(jìn)行線性重建時(shí)的編碼系數(shù)；步驟3，對于低分辨率人臉圖像每一個位置上的圖像塊，把所有低分辨率人臉樣本圖像的圖像塊替換為位置對應(yīng)的高分辨率人臉樣本圖像的圖像塊，用步驟2所得編碼系數(shù)加權(quán)合成相應(yīng)的高分辨率人臉圖像塊；步驟4，將步驟3合成所得高分辨率人臉圖像塊按照在人臉上的位置融合，得到一張高分辨率人臉圖像。而且，記輸入的低分辨率人臉圖像為X、低分辨率人臉圖像X中某一位置的圖像塊為X，高分辨率訓(xùn)練集中各高分辨率人臉樣本圖像分別與X對應(yīng)位置的圖像塊構(gòu)成圖像塊集Dh，低分辨率訓(xùn)練集中各低分辨率人臉樣本圖像分別與X對應(yīng)位置的的圖像塊構(gòu)成圖像塊集D1 ;低分辨率訓(xùn)練集中低分辨率人臉樣本圖像的個數(shù)和高分辨率訓(xùn)練集中高分辨率人臉樣本圖像的個數(shù)相同，記為N ；步驟2中，采用如下公式計(jì)算獲得編碼系數(shù)
權(quán)利要求
1.一種基于支撐集驅(qū)動稀疏編碼的人臉圖像超分辨率重建方法，其特征在于，包括如下步驟步驟1，輸入低分辨率人臉圖像，對輸入的低分辨率人臉圖像、低分辨率訓(xùn)練集中的低分辨率人臉樣本圖像以及高分辨率訓(xùn)練集中的高分辨率人臉樣本圖像劃分相互重疊的圖像塊；步驟2，對于低分辨率人臉圖像每一個位置上的圖像塊，算出在支撐集驅(qū)動稀疏編碼下由低分辨率訓(xùn)練集中所有低分辨率人臉樣本圖像該位置上的圖像塊對它進(jìn)行線性重建時(shí)的編碼系數(shù)；步驟3，對于低分辨率人臉圖像每一個位置上的圖像塊，把所有低分辨率人臉樣本圖像的圖像塊替換為位置對應(yīng)的高分辨率人臉樣本圖像的圖像塊，用步驟2所得編碼系數(shù)加權(quán)合成相應(yīng)的高分辨率人臉圖像塊；步驟4，將步驟3合成所得高分辨率人臉圖像塊按照在人臉上的位置融合，得到一張高分辨率人臉圖像。
2.根據(jù)權(quán)利要求1所述基于支撐集驅(qū)動稀疏編碼的人臉圖像超分辨率重建方法，其特征在于記輸入的低分辨率人臉圖像為X、低分辨率人臉圖像X中某一位置的圖像塊為X，高分辨率訓(xùn)練集中各高分辨率人臉樣本圖像分別與X對應(yīng)位置的圖像塊構(gòu)成圖像塊集Dh，低分辨率訓(xùn)練集中各低分辨率人臉樣本圖像分別與X對應(yīng)位置的的圖像塊構(gòu)成圖像塊集D1 ； 低分辨率訓(xùn)練集中低分辨率人臉樣本圖像的個數(shù)和高分辨率訓(xùn)練集中高分辨率人臉樣本圖像的個數(shù)相同，記為N;步驟2中，采用如下公式計(jì)算獲得編碼系數(shù)V1- = argmin || μ,|| D1W-x||< sw其中，I |w| La為權(quán)重稀疏項(xiàng)，圖像塊集D1=W11, -,Clli, -,d1N],l ( i ^ N7D1的每一列為一個樣本Clli,由一個低分辨率人臉樣本圖像中與X相同位置的圖像塊的像素值組成， w為長度為N的編碼系數(shù)，W= [W1, -,Wi, - ,WnJtjW1為樣本Clli對應(yīng)的系數(shù),arSfinO返回關(guān)于變量w的函數(shù)在得到最小值時(shí)w的取值A(chǔ) M〖表示歐氏平方距離；所述權(quán)重稀疏項(xiàng)I |w| lja的定義為Nf I I € Γ其中否則在此式中，IwiI為Wi的絕對值，Bi是編碼系數(shù)Wi的權(quán)重，T是編碼系數(shù)W的支撐集；所述支撐集T的定義如下T=Supp (dist I k)其中，dist是一個N維向量，distal | x~du | |2，I < i < N，dist Ik指的是dist中最小的k項(xiàng)，sup P (dist |k)是組成這些最小k項(xiàng)的索引的集合。
全文摘要
基于支撐集驅(qū)動稀疏編碼的人臉超分辨率重建方法，將輸入的低分辨率人臉圖像、高低分辨率訓(xùn)練集內(nèi)人臉圖像分別劃分為相互交疊的圖像塊；對輸入的低分辨率人臉圖像的每一個圖像塊，首先給編碼系數(shù)分配不同的權(quán)重，然后通過求解權(quán)重稀疏問題獲得最終編碼系數(shù)；將低分辨率訓(xùn)練集內(nèi)每個圖像相應(yīng)位置圖像塊，用一一對應(yīng)的高分辨率訓(xùn)練集內(nèi)每個圖像相應(yīng)位置圖像塊進(jìn)行替換，加權(quán)合成高分辨率圖像塊；按照合成的高分辨率圖像塊在人臉上的位置，融合成高分辨率人臉圖像。本發(fā)明提出局部約束表示模型，自適應(yīng)地選擇訓(xùn)練集內(nèi)樣本圖像塊空間中與輸入圖像塊近鄰的圖像塊來線性重建輸入圖像塊，得到最優(yōu)權(quán)重系數(shù)，合成出高質(zhì)量的高分辨率圖像。
文檔編號G06T5/50GK103034974SQ201210523889
公開日2013年4月10日 申請日期2012年12月7日 優(yōu)先權(quán)日2012年12月7日
發(fā)明者胡瑞敏, 江俊君, 董小慧, 韓鎮(zhèn), 陳軍, 陳亮, 方穩(wěn)華 申請人:武漢大學(xué)