專(zhuān)利名稱(chēng)：一種基于輪廓先驗(yàn)的魯棒性人臉超分辨率處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理(圖像恢復(fù))領(lǐng)域，針對(duì)低質(zhì)量監(jiān)控視頻中人臉圖像恢復(fù)的需求，具體涉及一種基于輪廓先驗(yàn)的魯棒性人臉超分辨率處理方法。
背景技術(shù)：
人臉超分辨率技術(shù)是通過(guò)從已有的低分辨率人臉圖像中估計(jì)出高分辨率人臉圖像。隨著監(jiān)控系統(tǒng)的快速發(fā)展，監(jiān)控系統(tǒng)在刑事偵查行業(yè)中，發(fā)揮著越來(lái)越重要的作用，如安全防范、錄像取證和犯罪調(diào)查等等。其中人臉圖像作為直接證據(jù)之一，在案件分析和法庭取證中占據(jù)著重要的位置。然而，由于現(xiàn)有條件下，目標(biāo)物體與攝像頭距離相對(duì)較遠(yuǎn)，捕捉到的監(jiān)控人臉可用像素非常少，像素分辨率非常低，兼之真實(shí)情況下由于惡劣天氣(雨霧)、 光照(過(guò)強(qiáng)、過(guò)暗、明暗不均)、器件等因素都會(huì)對(duì)捕獲的圖像引發(fā)的嚴(yán)重?fù)p毀(如嚴(yán)重的模糊和噪聲)，圖像恢復(fù)、放大和辨識(shí)往往受到嚴(yán)重的干擾。這就需要用到人臉超分辨率的技術(shù)提升圖像分辨率，從低分辨率圖像恢復(fù)到高分辨率圖像。
近年來(lái)，流形學(xué)習(xí)逐漸成為了人臉超分辨率的主流方法。這類(lèi)方法的核心思想是 描述低分辨率圖像的流形空間關(guān)系，尋找出每個(gè)低分辨率圖像數(shù)據(jù)點(diǎn)周?chē)木植啃再|(zhì)，然后將低分辨率圖像的流形非線性地映射到高分辨率圖像的流形空間中，在高分辨率對(duì)應(yīng)空間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法。2004年，Chang[l]等首次將流形學(xué)習(xí)算法引入到圖像超分辨率重構(gòu)中，提出了一種鄰域嵌入的圖像超分辨率重構(gòu)算法。CeLiu[2]利用流形學(xué)習(xí)理論提出一種人臉圖像超分辨率重構(gòu)的兩步法，先根據(jù)局部保持投影和徑向基函數(shù)回歸得到全局的人臉圖像，再由基于局部重建的方法補(bǔ)償人臉特征的細(xì)節(jié)信息。SungWon Park[3]提出一種基于局部保持投影的自適應(yīng)流形學(xué)習(xí)方法，從局部子流形分析人臉的內(nèi)在特征，重構(gòu)出低分辨率圖像缺失的高頻成分。綜上所述，現(xiàn)有的這些方法大多僅按照傳統(tǒng)的技術(shù)思路以圖像像素值、圖像梯度值等單一的差異作為人臉相似度準(zhǔn)則和算 法基礎(chǔ)，在處理一般環(huán)境下低質(zhì)量圖像的過(guò)程中，可以得到不錯(cuò)的效果，但是圖像質(zhì)量很低的時(shí)候，像素會(huì)遭到嚴(yán)重的毀壞混疊，用來(lái)表示圖像的特征因此很容易遭到損壞，用傳統(tǒng)方法恢復(fù)出來(lái)的圖像，效果并不令人滿(mǎn)意。
2010年，Lan[4]針對(duì)監(jiān)控環(huán)境下嚴(yán)重的模糊和噪聲導(dǎo)致的圖像像素?fù)p毀嚴(yán)重的問(wèn)題，提出一種基于形狀約束的人臉超分辨率方法，在傳統(tǒng)PCA架構(gòu)中添加形狀約束作為相似度度量準(zhǔn)則，利用人眼睛識(shí)別形狀時(shí)對(duì)干擾的魯棒性來(lái)人工添加形狀特征點(diǎn)作為約束，優(yōu)化低質(zhì)量圖像的重建結(jié)果。該方法一定程度上緩解了嚴(yán)重像素?fù)p毀對(duì)于重建結(jié)果的干擾，但是該方法中人工干預(yù)獲得特征的過(guò)程具有較大的偶然性，難以保證恢復(fù)結(jié)果精確度和穩(wěn)定性。
[I] H. Chang, D. -Y. Yeung, andY. Xiong, ^ Super-re so Iut ion through neighbor embedding, ” in Proc.1EEE Conf. Comput. Vis. Pattern Recog. , Jul. 2004, pp. 275 - 282.
[2] C. Liu, H. Shum, and W. T. Freeman. "Face hallucination: Theory and practice' InternationalJournal of Computer Vision, 75(1) :115 - 134, 2007.
[3] Sung Won Park, Savvides, M. ^Breaking the Limitation of Manifold Analysis forSuper-Resolution ofFacial Images", ICASS P,pp:573-576,2007.
[4]C Lan, R Hu, Z Han, A face super-resolution approach using shape semantic mode regularization.1EEE International Conference on Image Processing(ICIP), 2021 - 2024，26_29Sept. 2010.發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)上述現(xiàn)有技術(shù)的問(wèn)題，提供一種魯棒性的人臉超分辨率方法，在監(jiān)控環(huán)境下人臉圖像損毀嚴(yán)重時(shí)，顯著提高人臉恢復(fù)圖像的視覺(jué)感受。
本發(fā)明的技術(shù)方案為一種基于輪廓先驗(yàn)的魯棒性人臉超分辨率處理方法，包括以下步驟
步驟1，將高分辨率人臉圖像庫(kù)1中所有高分辨率人臉圖像位置對(duì)齊，提取與高分辨率人臉圖像庫(kù)Ys對(duì)應(yīng)的低分辨率人臉圖像庫(kù)Xs和人臉輪廓圖像庫(kù)Cs ；
步驟2，將輸入的原始低分辨率人臉圖像與高分辨率人臉圖像庫(kù)Ys中高分辨率人臉圖像位置對(duì)齊，獲取待處理的低分辨率人臉圖像Xt，提取對(duì)應(yīng)輪廓圖像ct，待估計(jì)的對(duì)應(yīng)高分辨率人臉圖像記為It ;
步驟3，將圖像分塊，所述圖像包括高分辨率人臉圖像庫(kù)Ys、低分辨率人臉圖像庫(kù) Xs、人臉輪廓圖像庫(kù)Cs中的所有圖像和低分辨率人臉圖像xt、對(duì)應(yīng)輪廓圖像Ct，設(shè)高分辨率人臉圖像庫(kù)Ys、低分辨率人臉圖像庫(kù)Xs和人臉輪廓圖像庫(kù)Cs中的每副圖像劃分為Ns個(gè)圖像塊，低分辨率人臉圖像xt、對(duì)應(yīng)輪廓圖像ct分別劃分為Nt個(gè)圖像塊，Ns=Nt ；
步驟4，生成重建系數(shù)wqp，實(shí)現(xiàn)方式如下，
設(shè)一幅圖像中的某圖像塊標(biāo)記為P，P的取值為1，2，…凡；
將低分辨率人臉圖像庫(kù)Xs中某幅低分辨率人臉圖像Xs中相同位置的圖像塊<和人臉輪廓圖像庫(kù)Cs中相應(yīng)輪廓圖像Cs相同位置的圖像塊Cf分別拉成列向量后首尾做拼接組合，組成一個(gè)新的圖像塊單元，對(duì)低分辨率人臉圖像庫(kù)Xs中所有低分辨率人臉圖像中圖像塊Xf分別處理得到的圖像塊單元構(gòu)成集合;將低分辨率人臉圖像Xt和輪廓圖像Ct 的相同位置圖像塊f Cf分別拉成列向量后首尾做拼接組合，組成一個(gè)新的圖像塊單元并記為；
對(duì)圖像塊單元Y汁算出集合中的前K個(gè)歐式空間上最相似的圖像塊單元， 構(gòu)成近鄰集合N ;設(shè)塊集合N中K個(gè)圖像塊單元的相應(yīng)權(quán)重系數(shù)標(biāo)記為wqp, q的取值為1，2，…K，通過(guò)最小化誤差ε ’，得到最優(yōu)的重建系數(shù)wqp，2
其中，
權(quán)利要求
1.一種基于輪廓先驗(yàn)的魯棒性人臉超分辨率處理方法，其特征在于，包括以下步驟 步驟1，將高分辨率人臉圖像庫(kù)1中所有高分辨率人臉圖像位置對(duì)齊，提取與高分辨率人臉圖像庫(kù)Ys對(duì)應(yīng)的低分辨率人臉圖像庫(kù)Xs和人臉輪廓圖像庫(kù)Cs ； 步驟2，將輸入的原始低分辨率人臉圖像與高分辨率人臉圖像庫(kù)Ys中高分辨率人臉圖像位置對(duì)齊，獲取待處理的低分辨率人臉圖像xt，提取對(duì)應(yīng)輪廓圖像ct，待估計(jì)的對(duì)應(yīng)高分辨率人臉圖像記為It ； 步驟3，將圖像分塊，所述圖像包括高分辨率人臉圖像庫(kù)Ys、低分辨率人臉圖像庫(kù)Xs、人臉輪廓圖像庫(kù)Cs中的所有圖像和低分辨率人臉圖像xt、對(duì)應(yīng)輪廓圖像Ct，設(shè)高分辨率人臉圖像庫(kù)Ys、低分辨率人臉圖像庫(kù)Xs和人臉輪廓圖像庫(kù)Cs中的每副圖像劃分為Ns個(gè)圖像塊，低分辨率人臉圖像xt、對(duì)應(yīng)輪廓圖像ct分別劃分為Nt個(gè)圖像塊，Ns=Nt ； 步驟4，生成重建系數(shù)wqp，實(shí)現(xiàn)方式如下， 設(shè)一幅圖像中的某圖像塊標(biāo)記為P，P的取值為1，2
2.根據(jù)權(quán)利要求I所述基于輪廓先驗(yàn)的魯棒性人臉超分辨率處理方法，其特征在于位置對(duì)齊通過(guò)仿射變換對(duì)齊特征點(diǎn)的方式實(shí)現(xiàn)，仿射變換的方法如下， 通過(guò)對(duì)樣本庫(kù)中的所有高分辨率人臉圖像相加除以樣本個(gè)數(shù)計(jì)算出平均臉,設(shè)x/和y/是平均臉上第i個(gè)特征點(diǎn)的坐標(biāo)，Xi和Ji為待對(duì)齊的人臉圖像上對(duì)應(yīng)的第i個(gè)特征點(diǎn)的坐標(biāo)，設(shè)仿射矩陣為
3.根據(jù)權(quán)利要求I或2所述基于輪廓先驗(yàn)的魯棒性人臉超分辨率處理方法，其特征在于對(duì)一張待處理圖像P，輪廓圖像具體獲得方式如下， (1)對(duì)待處理圖像P采用以下公式進(jìn)行伽馬校正，
全文摘要
本發(fā)明提供了一種基于輪廓先驗(yàn)的魯棒性人臉超分辨率處理方法，在傳統(tǒng)的基于流形的超分辨率方法的基礎(chǔ)上，同時(shí)選擇兩種對(duì)降質(zhì)過(guò)程魯棒的圖像特征，通過(guò)將二者良好耦合在(局部嵌入)算法中，同時(shí)作為算法過(guò)程中圖像相似性的判定準(zhǔn)則，以此部分解決傳統(tǒng)方法不能很好的解決監(jiān)控成像過(guò)程中嚴(yán)重噪聲和模糊對(duì)單幀人臉圖像超分辨率恢復(fù)效果缺乏真實(shí)性的問(wèn)題。
文檔編號(hào)G06T3/40GK102982520SQ20121051927
公開(kāi)日2013年3月20日 申請(qǐng)日期2012年12月5日 優(yōu)先權(quán)日2012年12月5日
發(fā)明者胡瑞敏, 陳亮, 夏洋, 韓鎮(zhèn), 盧濤, 江俊君, 龔燕, 黃克斌 申請(qǐng)人:武漢大學(xué)