基于數據驅動局部特征轉換的噪聲人臉超分辨率重建方法
【專利摘要】一種基于數據驅動局部特征轉換的噪聲人臉超分辨率重建方法，包括對待重建的輸入低分辨率人臉圖像和高、低分辨率訓練集相應劃分相互重疊的圖像塊；對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，分別從低分辨率人臉樣本圖像對應位置的圖像塊中找出K個最近鄰的圖像塊，并對應找出相應高分辨率人臉樣本圖像中的圖像塊，進行去均值化；利用映射系數計算出各圖像塊相應的高分辨率人臉圖像塊，重構出高分辨率人臉圖像，進行迭代后處理。本發(fā)明解決了主成分分析無法捕獲處于高維流形空間人臉特征的問題，利用局部流形的線性特性有效的進行了噪聲人臉圖像的超分辨率重建，同時進行高分辨率圖像后處理，進一步提高了重建結果的主、客觀圖像質量。
【專利說明】基于數據驅動局部特征轉換的噪聲人臉超分辨率重建方法

【技術領域】
[0001] 本發(fā)明涉及人臉圖像超分辨率領域，具體涉及一種基于數據驅動局部特征轉換的 噪聲人臉超分辨率重建方法。

【背景技術】
[0002] 隨著"平安城市"建設的不斷深入，視頻監(jiān)控廣泛的應用于日常生活，它們?yōu)橐曨l 偵查中犯罪嫌疑人的追蹤和捕獲提供了巨大的幫助。然而，行人與攝像機距離較遠，拍攝 到的人臉為低分辨率圖像從而缺乏的面部細節(jié)特征，而這些特征對于人臉圖像的分析和識 別是非常重要的。同時，低光照、低質量設備和其他的一些因素，均會導致監(jiān)控視頻包含大 量的噪聲，嚴重影響了人臉識別的效率。圖像超分辨率技術正是致力于解決這一難題，它 無需更高要求的硬件設備就可以為本發(fā)明提供包含更多細節(jié)的高分辨率（HR)和高品質的 圖像。2000 年，Baker 和 Kanade 在文獻 1(S. Baker and T.Kanade. Hallucinating faces. In FG，Grenoble, France, Mar. 2000, 83-88.)中首次提出人臉超分辨率方法，又叫人臉幻構 (face hallucination)，他們采用貝葉斯方法，利用訓練集中人臉圖像的先驗信息，通過學 習的方法獲得低分辨率人臉對應的高分辨率圖像，以此來達到較大的放大倍數及較好的效 果。在此之后，基于學習的人臉圖像超分辨率方法引起了人們的廣泛關注。
[0003] Wang 等人在文獻 2 (X. Wang and X. Tang. Hallucinating face by eigentransformation[J]. IEEE Trans. SMC(Part C),2005,vol.35, no. 3, pp. 425 - 434.) 中提出一種基于特征轉換的全局臉超分辨率方法。他們利用主成分分析（PCA)將輸入的低 分辨率人臉圖像用低分辨率訓練集圖像進行線性表示，再把表示系數與訓練集中低分辨率 圖像對應的高分辨率圖像線性結合，最終重構得到高分辨率目標圖像。由于增強了低分辨 率人臉圖像中的特征信息，重建后的高分辨率圖像去除了大量噪聲并保留大部分的人臉特 征。然而，這種方法只關注了人臉的全局結構而忽略了局部細節(jié)，合成出來的圖像通常缺乏 必要的高頻信息（尤其是在訓練集較小的情況下）。而基于圖像塊的人臉超分辨率方法通 過將人臉圖像劃分為相互重疊的人臉圖像塊，與全局臉的方法相比，具有更強的表達能力， 因此已經吸引了圖像領域越來越多的學者們的關注。
[0004] 基于低分辨率訓練集圖像塊空間和高分辨率訓練集圖像塊空間擁有相似的 局部幾何結構這一假設，Chang等人在文獻3(!1.0^叩，0.￥.￥611叩，311(1￥.]\0;[0叩· Super-resolution through neighbor embedding. In CVPR，pp. 275 - 282, 2004.)中提出 一種局部線性嵌入超分辨率方法，高分辨率圖像塊由訓練集中K個最近鄰的高分辨率圖像 塊線性組合得到。Ma 等人在文獻 4 (X.Ma，J.P Zhang, and C.Qi. Hallucinating face by position-patch. Pattern Recognition, 43 (6) : 3178 - 3194, 2010.)中提出一種基于位置 圖像塊的超分辨率方法，利用低分辨率樣本庫中相同位置的圖像塊對輸入低分辨率圖像塊 進行最小二乘表示來獲得最優(yōu)權重。
[0005] Yang 等人（文獻 5，J. Yang, H. Tang, Y. Ma，and T. Huang, "Face hallucination via sparse coding, " ICIP，pp. 1264 - 1267, 2008.)提出一種基于稀疏表達的超分辨率方 法，利用低分辨率圖像塊完備字典將輸入低分辨率圖像塊進行稀疏表示，得到一組稀疏系 數，并將此系數與對應的高分辨率字典結合即可得到目標高分辨率圖像塊。專利1 (胡瑞 敏、江俊君、王冰、韓鎮(zhèn)、黃克斌、盧濤、王亦民，一種基于局部約束表示的人臉超分辨率重建 方法，專利申請?zhí)枺?01110421452. 3)中進一步改善了基于位置塊的人臉幻構方法，在對圖 像塊進行重建過程中利用流形的局部幾何約束替換了文獻5中的稀疏約束，通過選擇距離 近的塊，懲罰距離遠的塊，使重建結果同時具有稀疏性和局部性。以上基于圖像塊的方法大 部分針對于無噪聲圖像的超分辨率重建。而在實際監(jiān)控場景中，退化后的人臉圖像往往不 可避免的被噪聲所影響，因此，提出一種對噪聲魯棒的超分辨率方法是當前的首要任務。


【發(fā)明內容】

[0006] 本發(fā)明目的是提供一種基于數據驅動局部特征轉換的噪聲魯棒人臉超分辨率重 建方法，解決現(xiàn)有同類算法不能魯棒表示噪聲人臉圖像的問題，通過利用流形的局部線性 獲得最優(yōu)（穩(wěn)定、精確）的結果。
[0007] 為達到上述目的，本發(fā)明采用的技術方案是一種基于數據驅動局部特征轉換的噪 聲人臉超分辨率重建方法，包括如下步驟：
[0008] 步驟1，對待重建的輸入低分辨率人臉圖像、低分辨率訓練集中的低分辨率人臉樣 本圖像以及高分辨率訓練集中的高分辨率人臉樣本圖像相應劃分相互重疊的圖像塊，低分 辨率訓練集中每個低分辨率人臉樣本圖像是由高分辨率訓練集中的一個相應高分辨率人 臉樣本圖像經模糊下采樣提?。?br> [0009] 步驟2,對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，分別執(zhí)行以下處 理，
[0010] 從低分辨率訓練集中每張低分辨率人臉樣本圖像對應位置的圖像塊中找出K個 最近鄰的圖像塊，記為K低分辨率訓練集近鄰圖像塊集合·，并根據所得低分辨率的K個 最近鄰圖像塊一一對應找出相應高分辨率人臉樣本圖像中的圖像塊，得到高分辨率的K個 圖像塊，記為K高分辨率訓練集近鄰圖像塊集合

【權利要求】
1. 一種基于數據驅動局部特征轉換的噪聲人臉超分辨率重建方法，其特征在于，包括 如下步驟： 步驟1，對待重建的輸入低分辨率人臉圖像、低分辨率訓練集中的低分辨率人臉樣本圖 像以及高分辨率訓練集中的高分辨率人臉樣本圖像相應劃分相互重疊的圖像塊，低分辨率 訓練集中每個低分辨率人臉樣本圖像是由高分辨率訓練集中的一個相應高分辨率人臉樣 本圖像經模糊下采樣提??； 步驟2,對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，分別執(zhí)行以下處理， 從低分辨率訓練集中每張低分辨率人臉樣本圖像對應位置的圖像塊中找出K個最近 鄰的圖像塊，記為K低分辨率訓練集近鄰圖像塊集合;并根據所得低分辨率的K個最近 鄰圖像塊一一對應找出相應高分辨率人臉樣本圖像中的圖像塊，得到高分辨率的Κ個圖像 塊，記為Κ高分辨率訓練集近鄰圖像塊集合; 計算低分辨率訓練集中所有低分辨率人臉樣本圖像對應位置的圖像塊的均值"，以及 高分辨率訓練集中所有高分辨率人臉樣本圖像對應位置的圖像塊的均值 K高、低分辨率訓練集近鄰圖像塊集合仏和/&中的每個圖像塊的每個像素分別減去 和"后所得圖像塊構成的集合分別表示為7^和7^; 步驟3,對于輸入低分辨率人臉圖像的每一個位置上的圖像塊，計算該圖像塊重建后的 估計和集合間的映射系數C，并利用映射系數c和集合7?計算出該圖像塊相應的高分 辨率人臉圖像塊； 步驟4,將步驟3所得輸入低分辨率人臉圖像每一個位置上的圖像塊相應的高分辨 率人臉圖像塊按照位置疊加，然后除以每個像素位置交疊的次數，重構出高分辨率人臉圖 像； 步驟5,對于步驟4重構出的高分辨率人臉圖像，進行迭代后處理。
2. 根據權利要求1所述基于數據驅動局部特征轉換的噪聲人臉超分辨率重建方法， 其特征在于：步驟3中，設對于輸入低分辨率人臉圖像/f的每一個位置（p，q)上的圖像塊 計算出其與集合的映射系數c，包括設集合
和
形成矩陣
記矩 陣$|心的特征向量和特征值分別為％和Λρ
其中，
為圖像塊_
相應的高分辨率人臉圖像塊。
3. 根據權利要求1或2所述基于數據驅動局部特征轉換的噪聲人臉超分辨率重建方 法，其特征在于：步驟5包括以下子步驟， 步驟5. 1，令當前迭代次數η = 0,輸入步驟4重構出的高分辨率人臉圖像; 步驟5. 2,根據下式更新if
其中，λ是預設的松弛因子，η是預設的偏差閾值，" ?"是像素索引，
表示高分 辨率人臉圖像If中的某個像素，r( ·)表現(xiàn)該像素的相應偏差； 步驟5. 3,判斷是否當前迭代次數n = N，N為預設迭代次數， 若是，則輸出本次執(zhí)行步驟5. 2所得?作為最終的目標高分辨率輸出圖像， 若否，則令
，返回步驟5. 2,以本次執(zhí)行步驟5. 2所得為輸入，進行下一次迭 代更新if。
【文檔編號】G06T5/50GK104091320SQ201410339087
【公開日】2014年10月8日 申請日期:2014年7月16日 優(yōu)先權日:2014年7月16日
【發(fā)明者】胡瑞敏, 董小慧, 江俊君, 韓鎮(zhèn), 關健, 高戈 申請人:武漢大學