專利名稱：一種基于核主成分分析的人臉超分辨率重構(gòu)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉超分辨率技術(shù)，特別涉及一種基于核主成分分析的人 臉超分辨率重構(gòu)方法。
背景技術(shù)：
隨著現(xiàn)代社會(huì)越來(lái)越重視公共安全，在很多公共場(chǎng)合，如銀行、超市、街 道等地方安裝的視頻監(jiān)控設(shè)備也越來(lái)越多。但是居于攝像機(jī)成本和存儲(chǔ)視頻文 件空間的考慮，這些視頻監(jiān)控設(shè)備的像素一般比較低。而且，當(dāng)人距離攝像機(jī) 比較遠(yuǎn)時(shí)，所拍攝到的人臉圖像也將會(huì)是非常小的。這樣的低分辨率圖像在工 程中很難直接應(yīng)用，從而成為人臉識(shí)別和面部表情分析的最大障礙之一。人臉超分辨率技術(shù)是一種從低分辨率人臉圖像中獲得對(duì)應(yīng)的高分辨率人 臉圖像的技術(shù)。在過(guò)去的幾十年里，圖像的超分辨率技術(shù)取得了很大的進(jìn)展， 一般可將圖像的超分辨率技術(shù)分為基于重建的技術(shù)及基于學(xué)習(xí)的技術(shù)，基于重 建的技術(shù)一般利用同一場(chǎng)景的多幀低分辨率圖像各自包含的不同亞像素信息來(lái)恢復(fù)一幅高分辨率圖像；基于學(xué)習(xí)的技術(shù)可以利用數(shù)據(jù)庫(kù)里的先驗(yàn)知識(shí)，通 過(guò)訓(xùn)練庫(kù)來(lái)建立不同分辨率圖像之間的關(guān)系，再利用這種關(guān)系重構(gòu)出高分辨率 圖像。 一般來(lái)說(shuō)，基于學(xué)習(xí)的技術(shù)在效果上要比基于重建技術(shù)要好。對(duì)于人臉圖像，由于每個(gè)人的圖像都是由眼睛、鼻子、嘴巴等器官組成， 各個(gè)面部器官都呈現(xiàn)特定的紋理特征。而且，經(jīng)過(guò)人臉對(duì)齊后，可以近似認(rèn)為 每張圖片中的每個(gè)器官所處位置是大致相同的。由于這種結(jié)構(gòu)性特征，Baker 和Kanda于2000年第一次提出了人臉超分辨率(Hallucination face)的概 念，使得人臉超分辨率重構(gòu)從圖像的超分辨率技術(shù)中分離出來(lái)，作為一個(gè)相對(duì) 較獨(dú)立的研究領(lǐng)域，之后按使用方法的不同，可以將人臉超分辨率重構(gòu)采用的 方法可以分成兩大類1、基于概率模型的人臉超分辨率算法，該類方法把圖 像看成是一個(gè)隨機(jī)變量，再結(jié)合最大后驗(yàn)概率模型來(lái)求解，該類方法一般需要 精確的降采樣模型， 一定程度上限制了實(shí)際應(yīng)用的范圍；2、基于特征子空間的人臉超分辨率算法，這類方法主要是利用現(xiàn)有的一些子空間算法來(lái)學(xué)習(xí)不同 分辨率圖像之間的關(guān)系，利用這種關(guān)系來(lái)重構(gòu)出高分辨率圖像。重構(gòu)后圖像的 效果一般取決于所采用的子空間算法本身的性質(zhì)以及該子空間算法應(yīng)用到人 臉超分辨率上的方式。核主成分分析(KPCA)是在經(jīng)典的主成分分析(PCA)的基礎(chǔ)上，通過(guò)引 入核函數(shù)把數(shù)據(jù)非線性映射到一個(gè)高維特征空間中，然后在特征空間上利用傳 統(tǒng)的PCA技術(shù)來(lái)進(jìn)行特征提取。近年來(lái)，由于KPCA的非線性性質(zhì)，己經(jīng)廣泛 應(yīng)用于人臉識(shí)別領(lǐng)域和圖像預(yù)處理領(lǐng)域。但是到目前為止，還沒(méi)有KPCA應(yīng)用 于人臉超分辨率重構(gòu)的技術(shù)公開(kāi)，本發(fā)明首次將KPCA用于人臉超分辨率的重 構(gòu)，并取得很好的效果。發(fā)明內(nèi)容本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)和不足，提供一種可以從一 幅低分辨率人臉圖像重構(gòu)出對(duì)應(yīng)的高分辨率圖像，改善人臉識(shí)別以及圖像理解 與分析效果的基于核主成分分析(KPCA)的人臉超分辨率重構(gòu)方法。本發(fā)明的目的通過(guò)下述技術(shù)方案實(shí)現(xiàn) 一種基于核主成分分析的人臉超 分辨率重構(gòu)方法，包括下述步驟(一) 對(duì)訓(xùn)練圖像通過(guò)將兩只眼睛的中心、嘴巴的中心固定在特定坐標(biāo) (假定把兩只眼睛的中心、嘴巴的中心分別固定在坐標(biāo)dv—力，(/_x,/_>0，(m —x，m —力上)上進(jìn)行人臉對(duì)齊，對(duì)齊后作為高分辨率訓(xùn)練樣本。再通過(guò)模 糊、降采樣得到低分辨率訓(xùn)練樣本。把每個(gè)高分辨率訓(xùn)練樣本及其對(duì)應(yīng)的低 分辨率訓(xùn)練樣本看成是一對(duì)訓(xùn)練樣本，由這些訓(xùn)練樣本組成一個(gè)訓(xùn)練庫(kù)。(二) 采用兩步來(lái)完成人臉超分辨率的重構(gòu)，第一步通過(guò)基于核主成分 分析的全局模型來(lái)獲得高分辨率全局人臉圖像；第二步對(duì)第一步得到的高分 辨率全局人臉圖像進(jìn)行殘差補(bǔ)償，因此將訓(xùn)練庫(kù)中的訓(xùn)練樣本分成兩部分， 一部分有iV,對(duì)訓(xùn)練樣本，用于全局模型的訓(xùn)練；另一部分有^對(duì)訓(xùn)練樣本，用于殘差補(bǔ)償?shù)挠?xùn)練，并將殘差補(bǔ)償?shù)牡头直媛视?xùn)練樣本作為全局模型的低分 辨率測(cè)試樣本。(三) 對(duì)于輸入的測(cè)試圖像，同樣通過(guò)將兩只眼睛的中心、嘴巴的中心 固定在特定坐標(biāo)上(此時(shí)兩只眼睛的中心、嘴巴的中心坐標(biāo)分別為<formula>formula see original document page 6</formula> 為降采樣率，即分辨率提高的倍數(shù))，進(jìn)行人臉對(duì)齊，得到低分辨率測(cè)試樣本。再 通過(guò)核主成分分析，計(jì)算低分辨率測(cè)試樣本在低分辨率特征空間中的象到低 分辨率核主成分子空間的投影，可以表示成全局模型的低分辨率訓(xùn)練樣本在 低分辨率特征空間中象的線性組合；具體步驟是對(duì)^個(gè)全局模型的低分辨 率訓(xùn)練樣本，進(jìn)行核主成分分析算法，令u;，…,ii:為被選取的低分辨率核主成分，由此生成的空間為低分辨率核主成分子空間，則存在系數(shù)矩陣P'，使得<formula>formula see original document page 6</formula>其中，i;,…入是全局模型的低分辨率訓(xùn)練樣本，w=W(i;d'(i'w,)]， 一為低分辨率圖像空間到由核生成的低分辨率特征空間的 映射。那么對(duì)低分辨率測(cè)試樣本IL在低分辨率特征空間中的象^(IL)到低分辨率核主成分子空間的投影P/(i')可以表示成<formula>formula see original document page 6</formula>其中<formula>formula see original document page 6</formula>由<formula>formula see original document page 6</formula>(2) (四)構(gòu)造與低分辨率測(cè)試樣本所對(duì)應(yīng)的高分辨率圖像在高分辨率特征 空間的像到高分辨率核主成分子空間投影的近似。本發(fā)明通過(guò)理論分析和實(shí) 驗(yàn)，發(fā)現(xiàn)對(duì)于如下參數(shù)選擇下的徑向基核(RBF核)，不同分辨率圖像對(duì)應(yīng)的 公式(2)中的權(quán)值是近似相等的。RBF核的定義為<formula>formula see original document page 6</formula>其中，<formula>formula see original document page 6</formula>為同一分辨率的兩幅圖像。因此將式(2)中全局模型的低分辨率訓(xùn)練樣本在低分辨率特征空間中的象換成對(duì)應(yīng)的高分辨率訓(xùn)練樣本在高分辨率特征空間的象，即一(i;)換成,w) (其中,為由高分辨率圖像空間到由核生成的高分辨率特征空間的映射)，并保持權(quán)值w'不變，可以得到低分辨率測(cè)試樣本IL所對(duì)應(yīng)的高分辨率圖像《,在高分辨率特征空間中的象到高分辨率核主成分子空間投影的近似<formula>formula see original document page 6</formula>、(五)通過(guò)式(4)來(lái)計(jì)算高分辨率原象。 一般來(lái)說(shuō)，嚴(yán)格的原象是不一定存在的，所以只能夠在高分辨率圖像生成的空間中找一個(gè)t,，使得-W(iLXAt,) (5)本發(fā)明利用Mika等人的迭代原象學(xué)習(xí)算法(S. Mika, B. Scholkopf, A. Smola, K. R. Mtiller， M. Scholz， and G. Ratsch, Kernel PCA and de-noising in feature spaces, NIPS， 1998.)計(jì)算出高分辨率原象iL。具體為通過(guò)最小化i^(iL)和,(t,)距離，得到求取高分辨率原象的迭代格式| (—idi卩/c)i:p= id_ m|>;eXp(-iHii2/c)此即為由低分辨率測(cè)試圖像iL,重構(gòu)出的高分辨率全局人臉圖像。(六)步驟(三)~ (五)是對(duì)一幅圖像進(jìn)行整體操作，屬于全局模型， 得到的結(jié)果難免顯得有些平滑。本步驟通過(guò)對(duì)步驟(三)~ (五)的全局模型進(jìn)行殘差補(bǔ)償來(lái)補(bǔ)償高分辨率全局人臉圖像所丟失的細(xì)節(jié)信息。具體步驟是(a) 殘差臉的計(jì)算將用于殘差補(bǔ)償?shù)膩V個(gè)低分辨率訓(xùn)練樣本用于測(cè)試步驟(三)~ (五)的全局模型，得到乂個(gè)高分辨率全局人臉圖像，用得到的高分辨率全局人臉圖像減去對(duì)應(yīng)的用于殘差補(bǔ)償?shù)母叻直媛视?xùn)練樣本，得到 M個(gè)高分辨率殘差臉，再將得到的高分辨率全局人臉圖像模糊、降采樣，減 去用于殘差補(bǔ)償?shù)牡头直媛视?xùn)練樣本，得到乂個(gè)低分辨率殘差臉；(b) 殘差臉?lè)謮K將低分辨率殘差臉和對(duì)應(yīng)的高分辨率殘差臉?lè)殖扇舾杀舜私化B的殘差塊，若低分辨率殘差塊大小為mxm，則對(duì)應(yīng)的高分辨率殘差 塊大小為(mxratio)x(mxratio)，其中，ratio為降采樣率。通過(guò)這種分塊方式， 將W個(gè)高分辨率殘差臉及M個(gè)低分辨率殘差臉進(jìn)行分塊，得到高分辨率殘差塊訓(xùn)練庫(kù)及對(duì)應(yīng)的低分辨率殘差塊訓(xùn)練庫(kù)；(c) 高分辨率殘差臉的構(gòu)造:對(duì)低分辨率測(cè)試樣本IL,，首先使用步驟(三)~ (五)的全局模型重構(gòu)出一幅高分辨率全局人臉圖像，將其模糊、降采樣， 再減去低分辨率測(cè)試樣本IL,,得到測(cè)試圖像的低分辨率殘差臉，按殘差臉?lè)謮K的具體方法對(duì)測(cè)試圖像的低分辨率殘差臉進(jìn)行分塊；對(duì)于測(cè)試圖像的低分辨率殘差臉中的每一殘差塊,"(/，/K^凡^C)，其中 R、 C為殘差快橫、縱坐標(biāo)的最大值，通過(guò)計(jì)算p'"'(/,y)和低分辨率殘差塊訓(xùn)練 庫(kù)中對(duì)應(yīng)坐標(biāo)殘差塊《(/，y)(^l,…,^)的歐氏距離，選擇距離最小的K個(gè)低分辨率殘差塊作為K-鄰域低分辨率殘差塊，將P',/,力表示成K-鄰域內(nèi)低分辨率殘差塊的線性組合，通過(guò)最小化這種組合的誤差e—IP咖(/，力一i;w(/,y.)《(!'，力l12k"1 (7) ".|>4(,,_/) = U = l,..-，7 ，_/ = l,..-,C求得權(quán)值W-[w,，…，wJ;通過(guò)將K-鄰域低分辨率殘差塊《(/,/)換成對(duì)應(yīng)的高分辨率殘差塊 并保持權(quán)值W不變，即:&"'仏/) = |;^(/,力《(/,力 (8)得到測(cè)試圖像的高分辨率殘差塊；(d)殘差臉的合成將(C)中測(cè)試圖像的所有高分辨率殘差塊合成一 張高分辨率殘差臉，合成方法為對(duì)不同殘差塊交疊在一起的區(qū)域求像素的平均 值。這樣可以保證合成的殘差臉顯得比較平滑。(七)將(五)中得到的高分辨率全局人臉圖像加上(六)中的高分辨 率殘差臉，得到最終的高分辨率人臉圖像。本發(fā)明的作用原理是主要采用核主成分分析方法來(lái)建立不同分辨率圖 像之間的聯(lián)系；首先利用核主成分分析算法建立了低分辨率特征空間和高分辨 率特征空間的關(guān)系，利用這種關(guān)系學(xué)習(xí)出與輸入低分辨率測(cè)試樣本所對(duì)應(yīng)的高 分辨率人臉圖像在高分辨率特征空間的象到高分辨率核主成分子空間投影的 近似，然后采用Mika等人的迭代原象學(xué)習(xí)算法從高分辨率特征空間中獲得高 分辨率原象，針對(duì)高分辨率全局人臉圖像過(guò)于平滑、缺少細(xì)節(jié)信息的現(xiàn)象，本 發(fā)明還對(duì)高分辨率全局人臉圖像進(jìn)行了殘差補(bǔ)償。本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)及有益效果核主成分分析(KPCA) 是一種非線性算法，已經(jīng)在人臉識(shí)別領(lǐng)域和圖像預(yù)處理領(lǐng)域得到了很成功的應(yīng) 用。它通過(guò)非線性映射將數(shù)據(jù)映射到特征空間中，在特征空間使用主成分分析(PCA)。 KPCA是一種非線性算法，事實(shí)上，自然界中的數(shù)據(jù)是復(fù)雜多變的， 數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系往往不是線性關(guān)系能夠刻畫出來(lái)的。因此，跟線性算法 相比，KPCA既能夠?qū)W習(xí)出數(shù)據(jù)的線性特征，也能夠出學(xué)習(xí)出數(shù)據(jù)的非線性特 征，因此能夠更好地表達(dá)數(shù)據(jù)。從而對(duì)于輸入的低分辨率測(cè)試樣本，通過(guò)KPCA算法后，可以更加準(zhǔn)確地表達(dá)出輸入低分辨率測(cè)試樣本的特征，把這些特征用 于高分辨率圖像中，可以使得重構(gòu)的人臉圖像與原圖更為接近。另外，不同于 基于概率模型的人臉超分辨率算法，該方法不需要精確的降采樣模型。


圖1為本發(fā)明高分辨率全局人臉圖像重構(gòu)的示意圖。圖2為本發(fā)明的人臉對(duì)齊示意圖。圖3為對(duì)高分辨率圖像經(jīng)過(guò)平滑和降采樣生成低分辨率圖像的過(guò)程示意 圖，用于構(gòu)造低分辨率訓(xùn)練樣本。 圖4為本發(fā)明實(shí)施過(guò)程示意圖。圖5為殘差臉的分塊示意圖及高分辨率殘差塊和低分辨率殘差塊的對(duì)應(yīng) 關(guān)系示意圖，戶代表殘差快，P'代表低分辨率殘差快，尸M戈表低分辨率殘差快。 圖6為本發(fā)明結(jié)果及其它算法的結(jié)果示意圖，采用的是中科院CAS-PEAL (W. Gao, B. Cao, S.G. Shan, X丄.Chen, D丄.Zhou, X.H. Zhang， D.B. Zhao, The CAS-PEALlarge-scale Chinese face database and baseline evaluations. IEEE Trans, on System Man, and Cybernetics (Part A) vol.38, no.l,pp.l49-161. 2008)人臉庫(kù)，其中500對(duì)作為全局模型 的訓(xùn)練圖像，350對(duì)作為殘差補(bǔ)償?shù)挠?xùn)練樣本，降采樣率為4 (即分辨率提高 倍數(shù)為4倍)。圖7為各種方法的均方誤差(MSE)比較示意圖，MSE越低，說(shuō)明重構(gòu) 的圖像越接近原圖。主要比較的算法為雙線性插值.Wang的特征變換算法(X.G. Wang and X.O. Tang, Hallucinating face by eigentransformation, IEEE Trans, on Systems, Man， and Cybernetics, Part-C. 35 (3) pp.425-434, 2005.)及Zhuang的局部保持人臉超分辨率 (LPH)和殘差補(bǔ)償算法(Yueting Zhuang, Jian Zhang， Fei Wu， Hallucinating face: LPH super-resolution and neighbor reconstruction for residue compensation, Pattern Recognition, 2007.)。
具體實(shí)施方式
下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明，但本發(fā)明的實(shí)施方 式不限于此。 實(shí)施例圖1 圖7示出了本發(fā)明一種基于核主成分分析的人臉超分辨率重構(gòu)方 法，其中圖l示出了本發(fā)明中全局模型的操作過(guò)程，包括下述步驟(1) 對(duì)人臉圖像進(jìn)行人臉對(duì)齊。即對(duì)每張人臉圖像，手工選取該人臉的 三個(gè)特征點(diǎn)(兩只眼睛的瞳孔中心點(diǎn)和嘴巴的中心點(diǎn))，通過(guò)旋轉(zhuǎn)使得每張人 臉的兩只眼睛處于水平位置，再運(yùn)用雙三次插值算法拉伸圖像，使得三個(gè)特征 點(diǎn)位于圖像的固定位置，最后將圖像裁剪為92X112大小作為高分辨率圖像(見(jiàn)圖2)。再將得到的圖像進(jìn)行模糊、降采樣，得到23X28大小的低分辨率 圖像(見(jiàn)圖3)。將所得到的圖像分成三部分，第一部分用于全局模型的訓(xùn)練， 第二部分用于殘差補(bǔ)償?shù)挠?xùn)練，最后一部分中的低分辨率圖像作為低分辨率測(cè) 試樣本。(2) 對(duì)低分辨率測(cè)試樣本IL，通過(guò)前述式(2)計(jì)算一(lL)在低分辨率核成分子空間的投影系數(shù)W'。(3) 通過(guò)前述式(4)計(jì)算測(cè)試樣本IL所對(duì)應(yīng)的高分辨率圖像I^在高分辨率特征空間中的象,(IL)到高分辨率核主成分子空間的投影W、I。的近似。(4) 通過(guò)前述式(6)計(jì)算高分辨率原象t,，此即為由低分辨率測(cè)試樣本重構(gòu)的高分辨率全局人臉圖像。圖4示出了殘差補(bǔ)償?shù)牟僮鬟^(guò)程，包括如下步驟(1)對(duì)于殘差補(bǔ)償?shù)膇V2對(duì)訓(xùn)練樣本中的低分辨率訓(xùn)練樣本用于測(cè)試基于 核主成分分析中的全局模型，得到乂個(gè)高分辨率全局人臉圖像。分別計(jì)算低分辨率殘差臉和高分辨率殘差臉。(2 )將低分辨率殘差臉和對(duì)應(yīng)的高分辨率殘差臉?lè)殖扇舾杀舜私化B的殘 差塊(見(jiàn)圖5)。(3) 對(duì)于低分辨率測(cè)試樣本，先通過(guò)基于核主成分分析中的全局模型獲 得高分辨率全局人臉圖像。再將高分辨率全局人臉圖像模糊、降采樣后再減去 低分辨率測(cè)試樣本，得到測(cè)試圖像的低分辨率殘差臉，再將該殘差臉?lè)殖扇舾?彼此交疊的殘差塊。(4) 對(duì)于每一個(gè)測(cè)試圖像的低分辨率殘差塊，在低分辨率殘差塊訓(xùn)練庫(kù) 中通過(guò)歐氏距離找出與之距離最小的K個(gè)殘差塊，通過(guò)前述式(7)求出權(quán)值(5) 通過(guò)前述式(8)求出所有的高分辨率殘差塊，再將高分辨率殘差塊合成高分辨率殘差臉。
(6)將(5)中的高分辨率殘差臉加到(3)中的高分辨率全局人臉圖像 中，得到最終的高分辨率人臉圖像(見(jiàn)圖6)，從圖6中可以看出，雙線性插 值的結(jié)果顯得模糊不清，其原因是雙線性插值只利用了低分辨率圖像本身的信 息，不足以重構(gòu)出一幅高質(zhì)量的高分辨率圖像來(lái)。Wang的特征變換結(jié)果很難 保持全局平滑性，尤其是在嘴巴、鼻子、眼睛和臉部的邊緣，顯得不夠光滑。 這是因?yàn)閃ang的方法是利用主成分分析(PCA)來(lái)建立不同分辨率圖像之間 的關(guān)系，PCA是一種線性算法，只能夠?qū)W習(xí)出數(shù)據(jù)的線性特征，不能夠?qū)W習(xí) 出數(shù)據(jù)的非線性特征。Zhuang的局部保持超分辨率算法的結(jié)果也沒(méi)有本發(fā)明 算法的結(jié)果那樣平滑，這是因?yàn)閆huang的算法首先利用局部保持投影算法對(duì) 低分辨率訓(xùn)練樣本進(jìn)行降維，再通過(guò)徑向基核(RBF)回歸獲得高分辨率全局 人臉圖像。但是作者并沒(méi)有進(jìn)一步闡述為什么高分辨率圖像和RBF矩陣之間 一直存在線性關(guān)系。本發(fā)明算法重構(gòu)的圖像顯得很平滑，而且跟原圖很接近， 其原因是KPCA是一種非線性算法，不但能夠?qū)W習(xí)出數(shù)據(jù)的線性特征，而且 能夠?qū)W習(xí)出數(shù)據(jù)的非線性特征，能夠很好地表達(dá)數(shù)據(jù)。
圖(7)為各種方法的均方誤差(MSE)比較，MSE的定義為
其中t,為原始高分辨率圖像，t,為重構(gòu)后的高分辨率圖像，M， N分別 是圖像的寬和高。從MSE的定義中可以看出，MSE越小，說(shuō)明重構(gòu)的圖像跟 原圖越相似。從該結(jié)果中可以看出，本發(fā)明的MSE最小，也即與原圖最接近。
上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述 實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、 修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù) 范圍之內(nèi)。
權(quán)利要求
1、一種基于核主成分分析的人臉超分辨率重構(gòu)方法，其特征在于包括下述步驟(一)對(duì)訓(xùn)練圖像進(jìn)行人臉對(duì)齊，對(duì)齊后作為高分辨率訓(xùn)練樣本；再通過(guò)模糊、降采樣得到對(duì)應(yīng)的低分辨率訓(xùn)練樣本；(二)將高分辨率訓(xùn)練樣本及對(duì)應(yīng)的低分辨率訓(xùn)練樣本分成兩個(gè)部分，其中，一部分用于全局模型的訓(xùn)練；另一部分用于殘差補(bǔ)償?shù)挠?xùn)練，并將殘差補(bǔ)償?shù)牡头直媛视?xùn)練樣本作為全局模型的低分辨率測(cè)試樣本；(三)對(duì)于低分辨率測(cè)試樣本，通過(guò)核主成分分析，計(jì)算其在低分辨率特征空間中的象到低分辨率核主成分子空間的投影；(四)構(gòu)造與低分辨率測(cè)試樣本所對(duì)應(yīng)的高分辨率圖像在高分辨率特征空間中的象到高分辨率核主成分子空間投影的近似；(五)利用Mika等人的迭代原象學(xué)習(xí)算法重構(gòu)出高分辨率全局人臉圖像；(六)通過(guò)計(jì)算高辨率殘差臉和對(duì)應(yīng)的低分辨率殘差臉并對(duì)其進(jìn)行分塊，構(gòu)造低分辨率殘差塊訓(xùn)練庫(kù)和高分辨率殘差塊訓(xùn)練庫(kù)，求得測(cè)試圖像的高分辨率殘差臉來(lái)對(duì)重構(gòu)的高分辨率全局人臉圖像進(jìn)行殘差補(bǔ)償；(七)將(五)中得到的高分辨率全局人臉加上(六)中的高分辨率殘差臉，得到最終的高分辨率人臉圖像。
2、 根據(jù)權(quán)利要求1所述的一種基于核主成分分析的人臉超分辨率重構(gòu)方法， 其特征在于所述步驟(一)具體是對(duì)訓(xùn)練圖像通過(guò)將兩只眼睛的中心、嘴 巴的中心固定在特定坐標(biāo)上進(jìn)行人臉對(duì)齊，對(duì)齊后作為高分辨率訓(xùn)練樣本；再 通過(guò)模糊、降采樣得到對(duì)應(yīng)的低分辨率訓(xùn)練樣本，把每個(gè)高分辨率訓(xùn)練樣本及 其對(duì)應(yīng)的低分辨率訓(xùn)練樣本看成是一對(duì)訓(xùn)練樣本，由這些訓(xùn)練樣本組成一個(gè)訓(xùn) 練庫(kù)。
3、 根據(jù)權(quán)利要求1所述的一種基于核主成分分析的人臉超分辨率重構(gòu)方法， 其特征在于所述步驟(三)具體是對(duì)于每一個(gè)低分辨率測(cè)試樣本，通過(guò)核 主成分分析，計(jì)算低分辨率測(cè)試樣本在低分辨率特征空間中的象到低分辨率核 主成分子空間的投影，表示成全局模型的低分辨率訓(xùn)練樣本在低分辨率特征空 間中象的線性組合。
4、 根據(jù)權(quán)利要求3所述的一種基于核主成分分析的人臉超分辨率重構(gòu)方法，其特征在于所述步驟(四)具體是將步驟(三)線性組合中的全局模型的 低分辨率訓(xùn)練樣本在低分辨率特征空間中的象換成對(duì)應(yīng)的高分辨率訓(xùn)練樣本在 高分辨率特征空間的象，得到低分辨率測(cè)試樣本所對(duì)應(yīng)的高分辨率圖像在高分 辨率特征空間中的象到高分辨率核主成分子空間投影的近似。
5、 根據(jù)權(quán)利要求4所述的一種基于核主成分分析的人臉超分辨率重構(gòu)方法， 其特征在于所述步驟(五)的具體是利用步驟(四)中求得的低分辨率測(cè) 試樣本所對(duì)應(yīng)的高分辨率圖像在高分辨率特征空間中的象到高分辨率核主成分 子空間投影的近似，通過(guò)Mika等人的迭代原象學(xué)習(xí)算法，得到高分辨率原象的 迭代格式，通過(guò)迭代獲得高分辨率原象，作為重構(gòu)的高分辨率全局人臉圖像。
6、 根據(jù)權(quán)利要求1所述的一種基于核主成分分析的人臉超分辨率重構(gòu)方法， 其特征在于所述步驟(六)具體是首先計(jì)算高分辨率殘差臉和低分辨率殘 差臉，再將高分辨率殘差臉和對(duì)應(yīng)的低分辨率殘差臉?lè)殖扇舾杀舜私化B的殘差 塊，構(gòu)造低分辨率殘差塊訓(xùn)練庫(kù)和高分辨率殘差塊訓(xùn)練庫(kù)；對(duì)于測(cè)試低分辨率 殘差臉中的每一殘差塊，在低分辨率殘差塊訓(xùn)練庫(kù)中通過(guò)歐氏距離找出與之距 離最小的K個(gè)低分辨率殘差塊，可以表示成這K個(gè)低分辨率殘差塊的線性組合， 通過(guò)最小化組合誤差求得權(quán)值；再將這K個(gè)低分辨率殘差塊換成對(duì)應(yīng)的高分辨 率殘差塊，并保持權(quán)值不變，得到測(cè)試圖像的高分辨率殘差塊；再將得到的所 有高分辨率殘差塊合成一張高分辨率殘差臉。
7、 根據(jù)權(quán)利要求6所述的一種基于核主成分分析的人臉超分辨率重構(gòu)方法， 其特征在于所述步驟(七)具體是將全局模型重構(gòu)出的高分辨率全局人臉 圖像加上步驟(六)中得到的高分辨率殘差臉，得到最終的高分辨率人臉圖像。
全文摘要
本發(fā)明公開(kāi)了一種基于核主成分分析的人臉超分辨率重構(gòu)方法，首先利用核主成分分析算法建立了低分辨率特征空間和低分辨率特征空間的關(guān)系，利用這種關(guān)系學(xué)習(xí)出與輸入低分辨率人臉圖像所對(duì)應(yīng)的高分辨率人臉圖像在高分辨率特征空間中的像到高分辨率核主成分子空間投影的近似，然后采用Mika等人的迭代原像學(xué)習(xí)算法從高分辨率特征空間中獲得高分辨率原像，針對(duì)高分辨率全局人臉圖像過(guò)于平滑、缺少細(xì)節(jié)信息的現(xiàn)象，本發(fā)明還對(duì)高分辨率全局人臉圖像進(jìn)行了殘差補(bǔ)償，本發(fā)明采用了核主成分分析方法來(lái)建立不同分辨率圖像之間的聯(lián)系，跟線性方法相比，核主成分分析方法是一種非線性方法，能夠?qū)W習(xí)出數(shù)據(jù)的線性和非線性特征，所以重構(gòu)的圖像更接近原圖。
文檔編號(hào)G06K9/00GK101299235SQ20081002887
公開(kāi)日2008年11月5日 申請(qǐng)日期2008年6月18日 優(yōu)先權(quán)日2008年6月18日
發(fā)明者賴劍煌, 鄒耀賢, 鄭偉詩(shī) 申請(qǐng)人:中山大學(xué)