專利名稱：一種基于最近特征線流形學習的人臉圖像超分辨率方法
技術領域：
本發(fā)明涉及圖像超分辨率領域，具體涉及一種基于最近特征線流形學習的人臉圖像超分辨率方法。
背景技術：
超分辨率是一種由低分辨率(Low-Resolution，LR)圖像產(chǎn)生高分辨率 (High-Resolution,HR)圖像的技術，其在智能視頻監(jiān)控、公安刑事偵查、信息安全等領域具有廣泛的應用背景。根據(jù)輸入的圖像的數(shù)目，超分辨率方法可以分成基于多幀低分辨率圖像進行重建的方法和基于單幀低分辨率圖像進行學習的方法這兩大類，其中基于單幀學習的方法能獲得更高的放大倍數(shù)和更好的效果，因而更受關注。Freeman(文獻1 :W. Freeman, Ε. Pasztor, and 0. Carmichael. Learning low-level vision [J]. International Journal of Computer Vision, 2000, 40(1) : 25 - 47.)提出一種基于Markov網(wǎng)絡的圖像超分辨率方法，這也是最早提出的基于學習的超分辨率方法。Baker (文獻2 :S. Baker and Τ. Kanade. Limits on super-resolution and how to break them [J]. IEEE Trans. PAMI, 2002, 24(9): 1167-1183.)專門針對人臉圖像，提出了一種人臉幻構的方法。隨后，Liu (文獻 3 :C. Liu, H. Shum, and W. Freeman. Face Hallucination: Theory and Practice [J]· International Journal of Computer Vision, 2007，75(1) : 115—134.)提出人臉重構的兩步法，分別合成人臉的全局和局部信息。至此，基于學習的人臉圖像超分辨率方法引起了人們的廣泛關注。近年來，機器學習理論表明，人臉圖像嵌入在一個具有局部線性性的低維平滑流行空間(文獻 4 :S. Roweis and L.Saul· Nonlinear dimensionality reduction by locally linear embedding [J], Science, 2000，290 (5500) : 2323 - 2326)。根據(jù)這一理論，Chang (文獻 5 :Η· Chang, D. Yeung, and Y. Xiong. Super-resolution through neighbor embedding [A], In Proc. IEEE CVPR'04 [C], Washington, 2004. 275 - 282.) 提出一種鄰域嵌入的圖像超分辨率重構方法，首次將流形學習思想引入到圖像超分辨率重構中。Wang(文獻 6 :X. Wang and X. Tang. Hallucinating face by eigentransformation [J]· IEEE Trans. SMC (Part C), 2005，35 (3) : 425 - 434.)提出一種特征變換法，利用主成分分析將輸入的低分辨率人臉圖像投影到低分辨率訓練樣本的特征子空間中，再把投影系數(shù)直接映射到高分辨率圖像上得到高分辨率圖像。2010年Huang (文獻7 :H. Huang， H. He, X. Fan, and J. Zhang. Super-resolution of human face image using canonical correlation analysis [J], Pattern Recognition, 2010，43 (7) :2532 - 2543.)提出利用典型相關分析提取高低分辨率人臉圖像的相關子空間，將典型相關分析同時運用于全局臉重構的殘差臉的補償中，最終獲得了很好的重構效果。上述流形學習的方法都是基于高低分辨率人臉圖像樣本所構成的流形空間具有相似局部幾何結構這一假設。然而，在欠采樣條件下(即小樣本問題，目前，最大樣本庫的樣本數(shù)也不過5000)，樣本數(shù)據(jù)只能構成高維人臉流形空間的一個稀疏空間，即使最相鄰的點也難以稱其為局部。因此，對欠采樣的樣本數(shù)據(jù)，由局部形成全局的流形學習思想從本質(zhì)上并不適合。基于流形學習的人臉圖像超分辨率方法要想獲得好的學習效果，必須通過擴大人臉圖像樣本規(guī)模來解決流形空間采樣不夠稠密的問題。然而，人臉庫的建立是一個復雜又耗時的過程，即使能獲得大量樣本，方法在進行求解計算時也需要巨大的存儲空間，并帶來很高的運算復雜度。因此，通過簡單地增加樣本數(shù)量來改進傳統(tǒng)流形學習方法在實際中并不可行。

發(fā)明內(nèi)容
本發(fā)明目的在于提供一種基于最近特征線流形學習的人臉超分辨率方法。它可以有效地擴充已有人臉圖像樣本的表達能力，從而正確揭示高低分辨率人臉圖像流形之間的局部相似結構特征。為達到上述目的，本發(fā)明采用的技術方案是一種基于最近特征線流形學習的人臉圖像超分辨率方法，其特征在于，包括如下步驟
步驟1，輸入低分辨率人臉圖像，對輸入的低分辨率人臉圖像、低分辨率訓練集中的低分辨率人臉樣本圖像以及高分辨率訓練集中的高分辨率人臉樣本圖像劃分相互重疊的圖像塊；
步驟2，對于輸入的低分辨率人臉圖像中每個圖像塊，取低分辨率訓練集中每個低分辨率人臉樣本圖像相應位置的四像塊作為樣本點，建立低分辨率人臉樣本塊空間，計算在低分辨率人臉樣本塊空間上的個最近的投影點；
步驟3，對于輸入的低分辨率人臉圖像中每個圖像塊，使用步驟2所得低分辨率人臉樣本塊空間上的個最近的投影點進行線性重構，得到線性重構的權重系數(shù)；
步驟4，對于輸入的低分辨率人臉圖像中每個圖像塊，取高分辨率訓練集中每個高分辨率人臉樣本圖像相應位置的圖像塊作為樣本點，建立高分辨率人臉樣本塊空間，計算在高分辨率人臉樣本塊空間上與步驟2所得低分辨率人臉樣本塊空間上的Γ個最近的投影點分別對應的Γ個樣本點；
步驟5，將步驟2所得低分辨率人臉樣本塊空間上的f個最近的投影點，替換為步驟4 所得高分辨率人臉樣本塊空間上的尤個樣本點，使用步驟3所得權重系數(shù)，加權重構出高分辨率的圖像塊；
步驟6，將所有加權重構出的高分辨率的圖像塊按照位置疊加，然后除以每個像素位置交疊的次數(shù)，重構出高分辨率人臉圖像。而且，設輸入的低分辨率人臉圖像&、高分辨率訓練集& )Ζι和低分辨率訓
練集化}己分別劃分相互重疊的圖像塊后，所構成的圖像塊集分別為(Wl^jSi)、
b/丨1A S' N,\<j <M)和付11A S 幻 iV/)，其中，SKi表示高分辨率訓練集中高
分辨率人臉樣本圖像的序號和低分辨率訓練集中低分辨率人臉樣本圖像的序號，標識J表示每張圖像上的塊位置序號，#為低辨率訓練集中低分辨率人臉樣本圖像的個數(shù)和高辨率訓練集中高分辨率人臉樣本圖像的個數(shù)，#為每幅圖像劃分圖像塊的塊數(shù)；
步驟2中，對低分辨率人臉圖像中第0個圖像塊< 計算在低分辨率人臉樣本塊空間上的f個最近的投影點包括以下步驟，
步驟2. 1，分別提取高分辨率訓練集中高分辨率人臉樣本圖像和低分辨率訓練集中低
分辨率人臉樣本圖像的第 個圖像塊，形成高分辨率訓練圖像塊集合Hi = Of I IASiV) 和低分辨率訓練圖像塊集合C = Wli^^iV)；
步驟2. 2，從低分辨率訓練圖像塊集合f中選出與圖像塊功歐氏距離最近的JT個圖像塊，形成篩選后的低分辨率訓練圖像塊集合烏.=(好K, 表
示圖像塊的鄰域集合，ICf(Xf)丨表示鄰域集合σο<)中圖像塊的個數(shù)；
步驟2. 3，將篩選后的低分辨率訓練圖像塊集合馬·中所有圖像塊作為樣本點兩兩相
連，形成4.= 、2 ‘條特征線，構成的特征線集合表示成馬，其
中4和力低分辨率訓練圖像塊集合ii.中的兩個樣本點，W為連接樣本點<和< 生成的特征線；
步驟2. 4，計算圖像塊蛘在特征線集合i|中所有特征線上的投影點，構成投影集合 4 = 11^ <^2 ^ AO - 么=4 +心-4),其中，4h表示圖像塊4在特征線
力上的投影點，為位置參數(shù),S^i =;
步驟2. 5，計算圖像塊功到特征線集合遼中所有特征線的距離，通過求取圖像塊功與
投影點的距離實現(xiàn)，距離W象4 Il ,其中，Il表示圖像塊4到投
影點的歐氏距離；
步驟2. 6，根據(jù)步驟2. 5所得圖像塊功到特征線集合趕中所有特征線的距離，查找
個距離最小的投影點4、，構成集合4 =,其中，Mq)為K個距離最小的投影
點4的下標號^而所構成的集合，集合烏為圖像塊 < 在低分辨率人臉樣本塊空間上的個最近的投影點；
步驟4中，對低分辨率人臉圖像中第^個圖像塊^ ,計算在高分辨率人臉樣本塊空間 N"上與步驟2所得低分辨率人臉樣本塊空間上的^個最近的投影點分別對應的K個樣本點時采用的公式如下，
yU =yl+ul (yl->i)，
其中，允為高分辨率人臉樣本塊空間進中與低分辨率圖像塊4相同序號的圖像塊， } 為高分辨率人臉樣本塊空間Η'中與低分辨率圖像塊功相同序號的圖像塊，為步驟2. 4所得^ji= “，I2 :b時的取值，(a,h)eA(q) , ^ )為步驟2. 6所得低分辨率人臉樣本塊空間中與圖像塊^ f個最近的投影點;的下標號^而所構成的集合，其中4和-< 為低分辨率訓練圖像塊集合終ι中的兩個樣本點；
計算所得Γ個樣本點么構成集合瑪= O^Wmw ,集合Hmk 坳、為高分
辨率人臉樣本塊空間上與步驟2所得低分辨率人臉樣本塊空間上的Γ個最近的投影點分別對應的Γ個樣本點。而且,步驟3中,通過求解線性方程=得到權重系數(shù)％ ,
其中
權利要求
1.一種基于最近特征線流形學習的人臉圖像超分辨率方法，其特征在于，包括如下步驟步驟1，輸入低分辨率人臉圖像，對輸入的低分辨率人臉圖像、低分辨率訓練集中的低分辨率人臉樣本圖像以及高分辨率訓練集中的高分辨率人臉樣本圖像劃分相互重疊的圖像塊；步驟2，對于輸入的低分辨率人臉圖像中每個圖像塊，取低分辨率訓練集中每個低分辨率人臉樣本圖像相應位置的圖像塊作為樣本點，建立低分辨率人臉樣本塊空間，計算在低分辨率人臉樣本塊空間上的‘個最近的投影點；步驟3，對于輸入的低分辨率人臉圖像中每個圖像塊，使用步驟2所得低分辨率人臉樣本塊空間上的i個最近的投影點進行線性重構，得到線性重構的權重系數(shù)；步驟4，對于輸入的低分辨率人臉圖像中每個圖像塊，取高分辨率訓練集中每個高分辨率人臉樣本圖像相應位置的圖像塊作為樣本點，建立高分辨率人臉樣本塊空間，計算在高分辨率人臉樣本塊空間上與步驟2所得低分辨率人臉樣本塊空間上的Γ個最近的投影點分別對應的Γ個樣本點；步驟5，將步驟2所得低分辨率人臉樣本塊空間上的Γ個最近的投影點，替換為步驟4 所得高分辨率人臉樣本塊空間上的Γ個樣本點，使用步驟3所得權重系數(shù)，加權重構出高分辨率的圖像塊；步驟6，將所有加權重構出的高分辨率的圖像塊按照位置疊加，然后除以每個像素位置交疊的次數(shù)，重構出高分辨率人臉圖像。
2.根據(jù)權利要求1所述基于最近特征線流形學習的人臉圖像超分辨率方法，其特征在于設輸入的低分辨率人臉圖像 、高分辨率訓練集00。和低分辨率訓練集{^} ι分別劃分相互重疊的圖像塊后，所構成的圖像塊集分別為 4 IS J、Cv/|l<i<iV,l<j<il/}和^lijSJO,其中，標識r表示高分辨率訓練集中高分辨率人臉樣本圖像的序號和低分辨率訓練集中低分辨率人臉樣本圖像的序號，標識表示每張圖像上的塊位置序號，#為低辨率訓練集中低分辨率人臉樣本圖像的個數(shù)和高辨率訓練集中高分辨率人臉樣本圖像的個數(shù)，#為每幅圖像劃分圖像塊的塊數(shù)；步驟2中，對低分辨率人臉圖像中第？個圖像塊功，計算在低分辨率人臉樣本塊空間上的f個最近的投影點包括以下步驟，步驟2. 1，分別提取高分辨率訓練集中高分辨率人臉樣本圖像和低分辨率訓練集中低分辨率人臉樣本圖像的第g個圖像塊，形成高分辨率訓練圖像塊集合Hi = Of和低分辨率訓練圖像塊集合f =；步驟2. 2，從低分辨率訓練圖像塊集合中選出與圖像塊^歐氏距離最近的￡〃個圖像塊，形成篩選后的低分辨率訓練圖像塊集合4| =(功1< SC^XICi(OI=F) , 表示圖像塊4的鄰域集合，丨丨表示鄰域集合中圖像塊的個數(shù)；步驟2. 3，將篩選后的低分辨率訓練圖像塊集合馬·中所有圖像塊作為樣本點兩兩相連，形成
3.根據(jù)權利要求2所述基于最近特征線流形學習的人臉圖像超分辨率方法，其特征在于步驟3中,通過求解線性方程= oms(K,l)得到權重系數(shù)Wf ,其中，Gi = (x^ms(K,if -Ailf (^oms(KJf-Ml),巧為圖像塊4的局部格拉姆矩陣，淵擬％1)是尤維的全1向量，Μ!為I 4 [χΓ的矩陣，丨為丨為圖像塊彳中像素的個數(shù)，Mt的每一列元素由圖像塊在低分辨率人臉樣本塊空間上的ζ個最近的投影點構成。
全文摘要
一種基于最近特征線流形學習的人臉圖像超分辨率方法，把人臉圖像塊樣本空間中的樣本點兩兩相連形成特征線，將已有樣本點擴充為特征線上的無數(shù)多個樣本點，從而增強人臉圖像塊樣本空間的表達能力；在擴充之后的樣本空間中，利用最近特征線準則來定義樣本空間中樣本點之間的近鄰關系，通過保持高低分辨率圖像塊樣本空間的這種鄰域關系，從而正確揭示高低分辨率人臉圖像塊流形之間的局部相似結構特征；通過保持這種局部相似結構特征，重構輸入的低分辨率人臉圖像塊對應的高分辨率塊，融合所有高分辨率塊得到高分辨率人臉圖像。此外，本發(fā)明根據(jù)輸入的低分辨率圖像塊，對原始樣本空間進行預篩選，再利用上述方法對其分析，大大降低本方法的運算復雜度。
文檔編號G06T5/50GK102402784SQ20111042181
公開日2012年4月4日 申請日期2011年12月16日 優(yōu)先權日2011年12月16日
發(fā)明者冷清明, 盧濤, 江俊君, 王冰, 胡瑞敏, 韓鎮(zhèn), 黃克斌 申請人:武漢大學